flume安装配置与原理

1、flume的安装

  1. 下载flume,解压安装
    flume-ng-1.6.0-cdh5.14.0.tar.gz
  2. 修改配置文件
cd /opt/software/flume/conf
mv flume-env.sh.template flume-env.sh
vi flume-env.sh
  1. 修改如下的内容
    在如下位置加入jdk的路径和给flume分配的内存大小
    在这里插入图片描述

2、flume的简介

  1. flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。
  2. flume在Hadoop开发中的位置在这里插入图片描述
  3. flume的体系架构
    在这里插入图片描述
  4. flume的核心组件
  • Agent: 一个独立的Flume进程,包含组件Source、 Channel、 Sink。(Agent使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。)

  • Event: 一个数据单元,消息头和消息体组成。(Events可以是日志记录、 avro 对象等。)

  • Source:是数据的收集端,负责将数据捕获后进行特殊的格式化,将数据封装到事件(event) 里,然后将事件推入Channel中。
    在这里插入图片描述

  • Channel:是连接Source和Sink的组件,大家可以将它看做一个数据的缓冲区(数据队列),它可以将事件暂存到内存中也可以持久化到本地磁盘上, 直到Sink处理完该事件。
    Flume对于Channel,则提供了Memory Channel、JDBC Chanel、File Channel,etc。
    MemoryChanne----可以实现高速的吞吐,但是无法保证数据的完整性。
    MemoryRecoverChannel----在官方文档的建议上已经建义使用FileChannel来替换。
    FileChannel----保证数据的完整性与一致性。在具体配置不现的FileChannel时,建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘,以便提高效率。

  • Sink:取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。
    Flume也提供了各种sink的实现,包括HDFS sink、Logger sink、Avro sink、File Roll sink、Null sink、HBase sink,etc。
    Flume Sink在设置存储数据时,可以向文件系统中,数据库中,hadoop中储数据,在日志数据较少时,可以将数据存储在文件系中,并且设定一定的时间间隔保存数据。在日志数据较多时,可以将相应的日志数据存储到Hadoop中,便于日后进行相应的数据分析。
    在这里插入图片描述

  1. 实例:
    ①新建文件夹 /opt/flume-logfile
    ②在flume-logfile新建文件夹test,data,checkpoint
    ③将文件装进test,在data和checkpoint中分别新建文件夹test
    ④新建文件夹 /opt/software/flume/conf/kb11job
    ⑤在kb11job 中新建文件test-flume-logger.conf,编辑如下
test.sources=testSource
test.channels=testChannel
test.sinks=testSink
//source
test.sources.testsSource.type=spooldir
test.sources.testsSource.spoolDir=/opt/flume-logfile/test				//要读取的文件地址
test.sources.testsSource.deserializer=LINE
test.sources.testsSource.deserializer.maxLineLength=32000
test.sources.testsSource.includePattern=test.csv					//文件样式
//channel
test.channels.testChannel.type=file							//channel存储的位置file是磁盘,memory是内存
test.channels.testChannel.checkpointDir=/opt/flume-logfile/checkpoint/test	//checkpoint存储位置
test.channels.testChannel.dataDirs=/opt/flume-logfile/data/test			//数据存储位置
//sink
test.sinks.testSink.type=logger
//source 和 sink 之间的关联
test.sources.testSource.channels=testChannel
test.sinks.testSinks.channel=testChannel
//读取数据
./bin/flume-ng agent --name test --conf ./conf --conf-file ./conf/kb11job/test-flume-logger.conf -Dflume.root.logger=INFO,console
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值