Flume学习笔记

最新推荐文章于 2022-03-19 19:41:37 发布
最新推荐文章于 2022-03-19 19:41:37 发布
阅读量508 收藏 2
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32539825/article/details/83049221
版权

flume学习笔记

 

一、什么是Flume？


    Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。


二、flume特性


    Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
    Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中
    一般的采集需求，通过对flume的简单配置即可实现
    Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景


三、flume组件解析


    对于每一个Agent来说,它就是一共独立的守护进程(JVM),它从客户端接收数据
    1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成
    2、每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件：
        a)Source：采集组件，用于跟数据源对接，以获取数据
        b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据
        c)Channel：传输通道组件，用于从source将数据传递到sink
        d)event(所传的消息就是event)一行文本内容会被反序列化成一个event(event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8。


四、flume安装


    1)解压

        tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /root/app/


    2)修改配置文件

        将flume-env.sh.template  改为 flume-env.sh


        在里面配置JAVA_HOME


五、测试


    创建一个myconf文件夹，在里边写配置文件
    
    1.使用telnet 发送消息 然后输出到控制台
        1)创建netcat-console.conf文件
          

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = hadoop01
a1.sources.r1.port = 44444

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


        2)启动
          

 bin/flume-ng agent -c conf -f myconf/socket-file.conf -n a1 -Dflume.root.logger=INFO,console


            在另一个能跟agent节点联网的机器上运行  

              telnet hadoop01 44444


    
    2.采集目录到hdfs
        需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
            根据需求，首先定义以下3大要素
            数据源组件，即source ——监控文件目录 :  spooldir
            spooldir特性：
               1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容
               2、采集完成的文件，会被agent自动添加一个后缀：COMPLETED
               3、所监视的目录中不允许重复出现相同文件名的文件
            下沉组件，即sink——HDFS文件系统  :  hdfs sink
            通道组件，即channel——可用file channel 也可以用内存channel
            
            配置文件 directory-hdfs.conf
            

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/data/flumedata
# 描述和配置sink组件：k1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flumeday15/events
a1.sinks.k1.hdfa.filePrefix = events-
#每隔N s将临时文件滚动成一个目标文件
a1.sinks.k1.hdfs.rollInterval = 60
#当文件大小为1048576个字节时，将文件滚动成一个文件
a1.sinks.k1.hdfs.rollSize = 1048576
#event数量达到该数量的时候，将临时文件滚动成目标文件
a1.sinks.k1.hdfs.rollCount = 500000

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


         启动hadoop环境
         另外创建一个文件夹 /root/data/flumedata   往里边添加文件,查看hdfs变化
    3.采集文件到kafka
        采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到kafka
        
        根据需求，首先定义以下3大要素
        采集源，即source——监控文件内容更新 :  exec  ‘tail -F file’
        下沉目标，即sink——kafka文件系统  :  org.apache.flume.sink.kafka.KafkaSink
        Source和sink之间的传递通道——channel，可用file channel 也可以用 内存channel
        
        配置文件编写(exec-kafka.conf)
          

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/datas/tmp.log

# 描述和配置sink组件：k1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = flumeTopic
a1.sinks.k1.kafka.bootstrap.servers = hadoop01:9092,hadoop02:9092,hadoop03:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.ki.kafka.producer.compression.type = snappy


# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


        
        运行：启动zookeeper
              

          zkServer.sh start 


              启动kafka    
              

          /root/app/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh -daemon 
/root/app/kafka_2.11-0.10.2.1/config/server.properties


              创建Topic
                

         /root/app/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --create
         --zookeeper 192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181
         --replication-factor 3 --partitions 3 --topic flumeTopic


              启动flume    

                bin/flume-ng agent -c conf -f myconf/exec-kafka.conf -n a1 -Dflume.root.logger=INFO,console


              输出日志
                

                while true
                >do
                >echo `date` >> /opt/datas/tmp.log
                >sleep 0.5
                >done


              查看kafka数据
              

         /root/app/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic flumeTopic


    4.写到磁盘中
        # 定义这个agent中各组件的名字
        

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = bigdata01
a1.sources.r1.port = 44444

# 描述和配置sink组件：k1
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /opt/datas/flumelog


# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


    5.Flume HA配置
        hadoop01  -->| sink1 --->  hadopp02
                     | sink2 --->  hadoop03
        hadoop02宕机后 hadoop01 输出到 hadoop03
        
        hadoop01  的 spooldir-avroMultiSink.conf
        
            

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1

#set gruop
a1.sinkgroups = g1

# 描述和配置source组件：r1
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/data/flumedata
a1.sources.r1.fileHeader = true


# 描述和配置sink组件：k1
# set sink1
a1.sinks.k1.channel = c1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 4545

# set sink2
a1.sinks.k2.channel = c1
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 4545

#set sink group
a1.sinkgroups.g1.sinks = k1 k2


# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1

#set failover
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 10
a1.sinkgroups.g1.processor.priority.k2 = 1
a1.sinkgroups.g1.processor.maxpenalty = 10000


        
        hadoop02  avro-logger.conf
        

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop02
a1.sources.r1.port = 4545

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c


            
        hadoop03  avro-logger.conf
        

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop03
a1.sources.r1.port = 4545

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c


        启动：
        hadoop02 

            bin/flume-ng agent -c conf -f myconf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console


        hadoop03
 

           bin/flume-ng agent -c conf -f myconf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console


        hadoop01

            bin/flume-ng agent -c conf -f myconf/spooldir-avroMultiSink.conf -n a1 -Dflume.root.logger=INFO,console

六、Flume使用中的问题分析
        

1.Flume采集数据到HDFS时，文件中有乱码

在配置文件中加入这一行即可

a1.sinks.k1.hdfs.fileType=DataStream

2.Flume采集到HDFS中只生成一个文件

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /data/access
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.minBlockReplicas=1


    
                

        

        

        
        

曼路
关注
专栏目录
Flume笔记
Yuexp0825的博客
04-13 158
Flume 概述: 特点：高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 选Flume的原因：FLume是流式传输实时处理的。 数据的传输过程：没有将用户产生的日志直接传输给大数据平台,而是传给日志服务器,可以按自己的需求方式去日志服务器获取。 不希望以你的方式来传输而时希望以我的方式去拿。 日志：<1>框架工作时候产生日志;<2>用户的操作行为被后台服务器收集后产生的用户行为日志。 Log4j：通过日志（log4j）的方式打印日志 日志的级别：...
flume学习笔记（一）：安装flume
最新发布
weixin_41765352的博客
12-01 468
这是本人近期学习flume的笔记，供和我一样投身大数据技术海洋的小白有个参考。本笔记使用的flume版本：flume1.9。
flume笔记
weixin_45764675的博客
02-06 227
Flume是什么? Flume是⼀种分布式，可靠且可⽤的服务，⽤于有效地收集，聚合和移动⼤量⽇志数据。Flume构建在⽇志流之上⼀个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强⼤的容错性。使⽤Flume这套架构实现对⽇志流数据的实时在线分析。Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据进⾏简单处理，并写到各种数据接受⽅（可定制）的...
Flume 笔记
qq_36864672的博客
11-28 471
$>flume-ng avro-client -H localhost -p 4141 -F /xxx(文件)  上面出错改成这个                   $>flume-ng agent -z s101:2181,s102:2181 -p /flume --name a1 -Dflume.root.logger=INFO,console 通过这个连接： $>flume
flume学习笔记.pptx
09-23
flume学习笔记 ===亲测===== 笔记中所有demo都已由本人实现
flume学习笔记更新版20190927.pptx
09-27
更新flume笔记文档 其中包括flume安装，flume监控文件、目录等并保存数据 还包含flume启动脚本
Flume学习笔记：从源到sink的高可用日志采集系统详解
Flume学习笔记深入解析 Flume是一个由Cloudera开发并后来归属Apache的分布式、高可靠的大数据日志采集、聚合和传输系统。它最初在2010年开源，经历了从Flume-OG（0.9.2及后续版本）到Flume-NG的重大重构，以解决...
Flume 学习笔记（一）使用Flume收集netcat端口通信的信息到本地文件
希望每天都能进步一点点
03-19 1501
若发现文章有误，敬请指教，感谢 文章目录运行环境一、准备 netcat 工具二、认识 Flume2.1 Flume 概念2.1 Flume 架构三、使用 Flume 收集端口的信息3.1 开启netcat3.2 创建配置文件3.3 启动flume 运行环境 Vmware 15 Flume1.9 CentOS7 操作系统 一、准备 netcat 工具 参考资料 Netcat 是一款简单的Unix工具，使用UDP和TCP协议。 它是一个可靠的容易被其他程序所启用的后台操作工具，同时它也被用作网络的.
flume学习笔记
TigRer的博客
03-26 138
1.flume向hdfs传输数据 上传apache-flume-1.9.0-bin.tar.gz到hadoop102 /opt/software下 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module cd /opt/module/ mv apache-flume-1.9.0 flume-1.9.0 启动hdfs hdp.sh start # 执行脚本，模拟日志生产 # 在/opt/module/datas目录下创建a.log while true
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值