海量日志采集Flume(HA)

最新推荐文章于 2022-07-27 22:45:40 发布
最新推荐文章于 2022-07-27 22:45:40 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/meilin_ya/article/details/80911987
版权

                                                        海量日志采集Flume(HA)

1.介绍:

    Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

2.日志采集

    Flume—对哪个ip  哪个端口进行监控 --- 数据监控—接收数据----内存—存储本地硬盘

3.数据处理

  Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume提供了从Console（控制台）、RPC（Thrift-RPC）、Text（文件）、Tail（UNIX tail）、Syslog（Syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。

4.Flume原理：

        Flume OG:

            

    

            Flume逻辑上分三层架构：Agent，Collector，Storage。采用多Master，为保持数据一致项，使用zookeeper，保持数据高可用和一致性。

            特点：

              ·  3个角色：代理节点(agent),收集节点(collector),主节点(master).

            ·   gent 从各个数据源收集日志数据，将收集到的数据集中到 Collector ，然后由收集节点汇总存入 HDFS 。master 负责管理 agent ， collector 的活动。
            ·  agent 、 collector 由 source 、 sink 组成，代表在当前节点数据是从 source 传送到 sink 。

        Flume NG

            
            NG只有一个节点：代理节点（agent）Flume NG的 agent 由 source 、 sink 、Channel  组成。如下关系
       
                         

· Source:完成对日志数据的收集，分成 transtion 和 event 打入到Channel之中。

Source类型

说明

Avro Source

支持Avro协议（实际上是Avro RPC），提供一个Avro的接口，需要往设置的地址和端口发送Avro消息，Source就能接收到,如：Log4j Appender通过Avro Source将消息发送到Agent

Thrift Source

支持Thrift协议，提供一个Thrift接口，类似Avro

Exec Source

Source启动的时候会运行一个设置的UNIX命令（比如 cat file），该命令会不断地往标准输出（stdout）输出数据，这些数据就会被打包成Event，进行处理

JMS Source

从JMS系统（消息、主题）中读取数据，类似ActiveMQ

Spooling Directory Source

监听某个目录，该目录有新文件出现时，把文件的内容打包成Event，进行处理

Netcat Source

监控某个端口，将流经端口的每一个文本行数据作为Event输入

Sequence Generator Source

序列生成器数据源，生产序列数据

Syslog Sources

读取syslog数据，产生Event，支持UDP和TCP两种协议

HTTP Source

基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式

Legacy Sources

兼容老的Flume OG中Source（0.9.x版本）

自定义Source

使用者通过实现Flume提供的接口来定制满足需求的Source。


· Channel:主要提供一个队列的功能，对source提供中的数据进行简单的缓存。 

Channel类型

说明

Memory Channel

Event数据存储在内存中

JDBC Channel

Event数据存储在持久化存储中，当前Flume Channel内置支持Derby

File Channel

Event数据存储在磁盘文件中

Spillable Memory Channel

Event数据存储在内存中和磁盘上，当内存队列满了，会持久化到磁盘文件（当前试验性的，不建议生产环境使用）

Pseudo Transaction Channel

测试用途

Custom Channel

自定义Channel实现  

· Sink:取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。

Sink类型

说明

HDFS Sink

数据写入HDFS

Logger Sink

数据写入日志文件

Avro Sink

数据被转换成Avro Event，然后发送到配置的RPC端口上

Thrift Sink

数据被转换成Thrift Event，然后发送到配置的RPC端口上

IRC Sink

数据在IRC上进行回放

File Roll Sink

存储数据到本地文件系统

Null Sink

丢弃到所有数据

HBase Sink

数据写入HBase数据库 

Morphline Solr Sink

数据发送到Solr搜索服务器（集群）

ElasticSearch Sink

数据发送到Elastic Search搜索服务器（集群）

Kite Dataset Sink

写数据到Kite Dataset，试验性质的

Custom Sink

自定义Sink实现


一个sink和channel只能收集一种类型数据日志，但是可以有多个sink和channel ，source则可以接受多种类型数据日志，如下：



Flume安装和使用：

    

    安装





运行配置：



a1.sources = r1
a1.sinks = k1
a1.channels = c1


# Describe configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141


# Describe the sink
a1.sinks.k1.type = logger


# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行：

在/home/bigdata/flume1.6目录下运行

 flume-ng agent -n a1 -c . -f ./conf/avro.conf -Dflume.root.logger=INFO,console


当flume可以运行我们就体会下收集不同数据源(source)日志，并存放到hdfs上

source:  avro

flume-ng avro-client -c /home/bigdata/flime1.6/ -H ry-hadoop1 -p4141 -F ./avro.txt



source:  Exec

b1.sources=r1
b1.channels=c1
b1.sinks=k1

b1.sources.r1.type=exec
b1.sources.r1.command=tail -F /home/data/avro.txt

b1.channels.c1.type=memory
b1.channels.c1.capacity=1000
b1.channels.c1.transactionCapacity=100

b1.sinks.k1.type=logger

b1.sources.r1.channels=c1
b1.sinks.k1.channel=c1



source:   spooldir只能对一级目录进行收集

在数据Linux本地建一个文件夹log

agent.sources=r1
agent.channels=c1
agent.sinks=k1

agent.sources.r1.type=spooldir
agent.sources.r1.spooldir=/home/data/log
agent.sources.r1.fileHeader=true

agent.channels.c1.type=memory
agent.channels.c1.capacity=1000
agent.channels.c1.transactionCapacity=100

agent.sinks.k1.type=logger

agent.sources.r1.channels=c1
agent.sinks.k1.channel=c1
启动： 
flume-ng agent -n agent -c /home/bigdata/flime1.6/ -f /home/bigdata/flime1.6/conf/spoolDir.conf -Dflume.root.logger=INFO,console



source: TCP

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.host = 0.0.0.0

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

    




source：JSONHandler

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = org.apache.flume.source.http.HTTPSource
a1.sources.r1.port = 8888

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


source 就讲5个。

然后讲存储

hdfsSinK.conf

配置：

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.host = 0.0.0.0

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://ry-hadoop1:8020/flume
a1.sinks.k1.hdfs.filePrefix = Syslog
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.rollInterval=0
a1.sinks.k1.hdfs.rollSize=10240
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=60

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行：

flume-ng agent -n a1 -c . -f ./conf/hdfsSink.conf -Dflume.root.logger=INFO,console


写一个shell脚本，循环输出tcp数据，然后收集在hdfs种

#!/bin/sh
int=1
while(( $int<=500000  ))
do
	echo "this is message"$int | nc ry-hadoop1 5140
	echo "this is message"$int
	let "int++"
done


设定收集日志的具体时间。








那么有个问题，当hadoop维护期间不能存储数据时，我们的日志文件存在哪里呢？

本地，那么我们看看如何存在本地

通道类型为文本形式

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.host = 0.0.0.0

# Describe the sink
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /home/data/log/
a1.sinks.k1.sink.serializer=TEXT

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1



channels通道类型为文件形式

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# For each one of the sources, the type is defined
a1.sources.s1.type = syslogtcp
a1.sources.s1.host = localhost
a1.sources.s1.port = 5180

# Each sink's type must be defined
a1.sinks.k1.type = logger

# Each channel's type is defined.
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /home/data/log/checkpoint
a1.channels.c1.dataDir = /home/data/log/data

#Bind the source and sinks to channels
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1


flume的HA：

        Flume支持Fan out流从一个源到多个通道。有两种模式的Fan out，分别是复制和复用。在复制的情况下，流的事件被发送到所有的配置通道。在复用的情况下，事件被发送到可用的渠道中的一个子集。Fan out流需要指定源和Fan out通道的规则。大白话来说就是，当你采集日志的时候可以通过一个agent进行保存多份日志。启动多台集群讲多台的flume连接起来，可以同时接收到其中一台的数据进行备份，这个有点类似zookeeper。

   1) Replicating Channel Selector   多个Channel
在3台机器上启动flume的avor，然后复制master连接启动source为：replicating的flume

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 5555

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在master启动连接：

a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.host = 0.0.0.0
a1.sources.r1.port = 5140
a1.sources.r1.channels = c1 c2
a1.sources.r1.selector.type = replicating

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = master
a1.sinks.k1.port = 5555

a1.sinks.k2.type = avro
a1.sinks.k2.channel = c2
a1.sinks.k2.hostname = slave1
a1.sinks.k2.port = 5555

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

当你写一条数据进入日志时，其他3台机器都会有反应


1) MulChnSel_a1.conf

    输入数据映射的匹配。


a1.sources = s1
a1.channels = c1 c2
a1.sinks = k1 k2

# For each one of the sources, the type is defined
a1.sources.s1.type = org.apache.flume.source.http.HTTPSource
a1.sources.s1.port = 8887
a1.sources.s1.channels = c1 c2
a1.sources.s1.selector.type = multiplexing

a1.sources.s1.selector.header = company
a1.sources.s1.selector.mapping.ali = c1
a1.sources.s1.selector.mapping.baidu = c2
a1.sources.s1.selector.default = c2

# Each sink's type must be defined
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = master
a1.sinks.k1.port = 5555
a1.sinks.k1.channel = c1

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = slave1
a1.sinks.k2.port = 5555
a1.sinks.k2.channel = c2

# Each channel's type is defined.
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100


3）Flume Sink Processors

failover的机器是一直发送给其中一个sink，当这个sink不可用的时候，自动发送到下一个sink。

a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
  
#这个是配置failover的关键，需要有一个sink group
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
#处理的类型是failover
a1.sinkgroups.g1.processor.type = failover
#优先级，数字越大优先级越高，每个sink的优先级必须不相同
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
#设置为10秒，当然可以根据你的实际状况更改成更快或者很慢
a1.sinkgroups.g1.processor.maxpenalty = 10000
  
# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.channels = c1 c2
a1.sources.r1.selector.type = replicating
  
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = m1
a1.sinks.k1.port = 5555
  
a1.sinks.k2.type = avro
a1.sinks.k2.channel = c2
a1.sinks.k2.hostname = m2
a1.sinks.k2.port = 5555
  
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
  
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100
 
在hadoop1创建Flume_Sink_Processors_avro.conf配置文件
a1.sources = r1
a1.sinks = k1
a1.channels = c1
  
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 5555
  
# Describe the sink
a1.sinks.k1.type = logger
  
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
  
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动：

flume-ng agent -c . -f /home/bigdata/flume/conf/Flume_Sink_Processors_avro.conf -n a1 -Dflume.root.logger=INFO,console

测试：

然后在hadoop1或hadoop2的任意一台机器上，测试产生log

# echo "idoall.org test1 failover" | nc localhost 5140


4) Load balancing Sink Processor

        load balance type和failover不同的地方是，load balance有两个配置，一个是轮询，一个是随机。两种情况下如果被选择的sink不可用，就会自动尝试发送到下一个可用的sink上面。

a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1
  
#这个是配置Load balancing的关键，需要有一个sink group
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = round_robin
  
# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.channels = c1
  
  
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = m1
a1.sinks.k1.port = 5555
  
a1.sinks.k2.type = avro
a1.sinks.k2.channel = c1
a1.sinks.k2.hostname = m2
a1.sinks.k2.port = 5555
  
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

启动：

#flume-ng agent -c . -f /home/bigdata/flume/conf/Load_balancing_Sink_Processors_avro.conf -n a1 -Dflume.root.logger=INFO,console

测试：

输入太快产生的日志可能会落到一台机器上

 echo "idoall.org test1" | nc localhost 5140



flume的海量日志离线采集于存储。不同的数据源，不同的数据存储方式（本地和hdfs），均衡负载的存储方式，存储时间，存储数据大小等等的设定。

meiLin_Ya
关注
专栏目录
ApacheFlume实战：日志收集
AI天才研究院
08-01 2318
Apache Flume 是由Apache基金会管理的分布式、高可靠和高可用的海量日志采集、聚合和传输系统。Flume 可以对来自不同数据源的数据进行汇聚，并将其存储在 HDFS、HDFS HA、Kafka 或其他基于磁盘的持久化存储中，然后通过多种方式对日志进行分析和检索。同时，Flume 支持按时间或事件大小分割日志文件、压缩数据、事务支持等功能，可以有效地节省磁盘空间、提升日志传输效率，降低数据中心网络带宽开销，实现数据中心级日志采集、分析和处理。
深入理解海量日志收集利器 Flume
JimGray的博客
05-04 2776
一、Flume是什么　　Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二 、Fulme 有什么特点Fulme 特点如下： 1、可靠性　　当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to
Flume HA
he_321的博客
01-29 1315
flume的HA就是HDFS的HA，如何配置HDFS HA可以查看HDFS高可用（HA）配置 HDFS HA配置好了以后，为了Flume能够访问HDFS HA，将hdfs的配置文件core-site.xml，hdfs-site.xml拷贝到flume的配置目录conf下，让flume自己去解析即可。
数据湖：海量日志采集引擎Flume
渡江客涂鸦板
07-27 811
Flume是的一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时提供了对数据进行简单处理并写到各种数据接收方的能力。...
flume HA实现
u011624157的专栏
01-14 648
一、Flume简单介绍 Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成 Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。 图1 1.2 Source Source用来从数据源接收数据,并将数据写入到Channel中。 Source分很多种，现在公司内用到的有两个: （1）KafkaSou...
Flume 日志采集分享
weixin_39098944的博客
09-04 251
前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过
数据采集框架 Flume
weixin_43589563的博客
10-07 1685
Flume官网 （1）Flume官网地址：http://flume.apache.org/ （2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html （3）下载地址：http://archive.apache.org/dist/flume/ Flume概述 (1)Flume是cdh公司提供的 (2)海量日志采集、聚合和传输的框架 (3)高可用的，高可靠的，分布式 高可用：flume挂了以后还有别的flume可以代替来工作 高可靠：数据传输可靠，不丢失 分布
大数据辅助工具--Flume 数据采集组件
weixin_44387652的博客
03-22 2173
大数据辅助工具--Flume 数据采集组件1、数据收集工具系统产生背景2、专业的数据收集工具2.1、Chukwa2.2、Scribe2.3、Fluentd2.4、Logstash2.5、Apache Flume3、Flume 概述3.1、Flume 概念3.2、Flume 版本介绍4、Flume 体系结构/核心组件4.1、概述4.2、Flume 核心组件4.2.1、Event4.2.2、Client4.2.3、Agent4.2.4、Source4.2.5、Agent 之 Channel4.2.6、Agent
Hadoop之Flume
fang19970714的博客
05-11 328
flume的采集频率是怎么设置的？ 设置flume的采集频率，有两种控制策略，第一种： 文件127.9M的时候采集一次 第二种： 两个小时滚动一次 flume的监测 flume比较脆弱，一旦抛异常，就会停止工作，只能够手动重启，那么什么情况下flume死掉了？如果目的地数据没有增多，或者源数据没有变少，flume都有可能死掉了，可以写一个脚本定时执行检测，检测源数据有没有减少和目的地数据有没有增多，杀掉flume，重新启动，也可以用failover的机制 flume监控文件的内容变化，将文件里面新增的数据全
Docker容器中运行flume及启动不输出运行日志问题
09-30
主要介绍了 Docker容器中运行flume及启动不输出运行日志问题及解决方法，需要的朋友参考下吧
海量日志收集利器 —— Flume
努力的凹凸曼的博客
06-19 644
Flume 是什么？ 　　Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume 特点 1、可靠性 　　当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据a...
Flume HA的配置
齐世伟的博客
09-02 698
在此处我们为了防止单点故障，把flume配置成HA的高可用 1、首先准备3台机器，分别是hdp-01、hdp-02、hdp-03，其中hdp-01为source机器，而hdp-02、hdp-03为Flume高可用集群。 2、我们先设置hdp-02、hdp-03两台机器。cd apps/flume/myconf/avro-hdfs.conf （此处source端为avro模式，sink端为hdf...
flume上传日志到HA集群
Purplme的博客
11-08 281
楼主网上找了很多资料，都不是很完整，所以整理一下，以防有网友遇到类似的问题。 网上找到的都说把hadoop集群的core-site.xml和hdfs-site.xml放在flume的conf目录下即可。 因为楼主跑的虚拟机上安装了个伪分布式的hadoop，后来用flume导入到HA集群时老是导入不进去，发现flume会自动加载hadoop的配置文件，不会读取自己的conf，所以假如你安装了ha...
flume实时写数据到HA模式下的hdfs
qq_32461003的博客
12-25 1450
上一篇文章写到flume实时抽取mysql数据到kafka和hdfs，但是之前没有考虑到在hdfs是在HA模式下的情况，如果在HA模式下，我们指定了写入地址为：hdfs://cdh2:8020/flume/oracle/topic/test_%Y%m%d，当cdh2是Active状态下是没有问题的，但是当cdh2变成Standby状态后，则数据无法正常写入；为了解决这种问题，我们在flume写入...
flume 设置 ‘HA‘模式
javaMylife的博客
03-03 333
上游每个flume都配两个sink，而且这两个作为一个组，组策略为fail over processor（失败切换另一个avro-sink） 下游收集者，配置两个flume，一个作为主，一个作为备， 而且上游的 主avro-sink发送到 主avro-source备avro-sink发送到 备avro-source，那么，万一下游汇聚者1 主avro-sources 挂掉了，上游的avro-sink会自动切换到备avro-sink，备avro-source开始工作 这就是flume通过配置实现H...
Hadoop-Flume整理(架构，组件以及三种形式)
qichangjian的博客
02-28 557
一．什么是Flume?（收集日志） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume支持在日志系统中定制各类数据发送方(console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上)收集数据的...
flume 对指定日志进行读取
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 842
本实验任务主要完成基于ubuntu环境使用flume对指定目录下的日志文件进行读取，通过完成本实验任务，要求学生了解并掌握flume对指定数据文件内容的获取，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握flume的应用原理   掌握flume对日志信息的采集过程本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对
基于 Docker 部署 Flume 应用
magicpenta的博客
06-17 4512
前言 本文目的在于通过 flume、zookeeper、kafka、docker 搭建基本的日志采集系统，实现日志的采集并将数据发送至 Kafka。 搭建前，需确保已安装以下组件： JDK 8 Flume Zookeeper Kafka Docker 同时需确保已掌握以下技能： 能在本地部署并成功启动 Flume，且了解 Flume 的核心概念 source、channel、sink 能基本使用 Zookeeper，了解节点的创建、更新、查看与删除 能基本使用 Kafka，了解 topic 的概念，实
Flume大数据日志采集实战教程
Flume，作为Apache Hadoop生态中的一个关键组件，被广泛用于海量日志的采集、聚合和传输。它的设计目标是提供一个稳定、高效且可扩展的平台，以便于从各种数据源收集数据，并将其转发到不同的数据接收方。Flume的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值