Flume框架——日志文件数据采集工具的安装与使用

最新推荐文章于 2022-07-12 14:26:25 发布
最新推荐文章于 2022-07-12 14:26:25 发布
阅读量577 收藏 1
点赞数
文章标签： Flume框架使用 Flume动态监控多个文件夹与文件 Flume实现分区存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h1025372645/article/details/96017243
版权

介绍

  1. 本文对Flume框架进行了简单的介绍，内容如下
  2. 如何在安装Linux上安装Flume框架
  3. 如何动态读取一个日志文件
  4. 如何使用Flume将文件存储到HDFS上
  5. 如何使用Flume将文件存储到HDFS指定目录下
  6. 如何使用Flume使用分区方式将文件存储到HDFS上
  7. 如何动态监听一个文件夹中的内容
  8. 如何过滤不想加载到Flume中的文件
  9. 如何实现动态监听多个文件与文件

1：Flume简单介绍与安装

1.1：Flume介绍

（1）分布式：

可以在多台机器上运行多个flume,日志文件往往分布在不同的机器里面

（2）collecting, aggregating, and moving

           收集              聚集                移动

（3）组件agent

              source:从数据源读取数据的，将数据转换为数据流，将数据丢给channel

              channel：类似于一个队列，临时存储source发送过来的数据

              sink：负责从channel中读取数据， 然后发送给目的地

（4）flume的使用很简单，就是一个配置文件，

1.2：Flume版本

flume-ng：（next generation）:  目前使用该版本

flume-og：（Original generation）：以前的版本，淘汰

1.3 ：Flume安装

环境要求：Linux下，hadoop环境安装完成；JDK安装完成

安装配置：

（1）修改文件名，配置JDK

1：mv flume-env.sh.template  flume-env.sh

（2）找到HDFS的地址：

 方法1.声明Hadoop_home为全局环境变量

全局配置

方法2.将core-site.xml和hdfs-site.xml放到flume配置文件下(推荐)

cp /opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/etc/hadoop/core-site.xml /opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/etc/hadoop/hdfs-site.xml  ./

方法3.直接在使用的时候给HDFS绝对路径

 hdfs://hostname:8020/aa/bb

（3）添加HDFS的Jar包lib目录下：在执行的过程中需要使用HDFS api

测试案例1：读取Hive日志信息到控制台

flume-conf.properties配置文件


# The configuration file needs to define the sources, 
# the channels and the sinks.
# Sources, channels and sinks are defined per a1, 
# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# defined sources
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/logs/hive.log
a1.sources.s1.shell=/bin/sh -c


# defined channel
a1.channels.c1.type = memory
#容量
a1.channels.c1.capacity=1000
#读取数据容量
a1.channels.c1.transactionCapacity=100


# defined sink
a1.sinks.k1.type = logger

#bond
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

在Flume目录下输入命令

bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties -Dflume.root.logger=INFO,console

结果：控制台输出为二进制，所以看不出结果

测试案例2：读取Hive日志信息到HDFS上

flume-conf.properties配置文件

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# For each one of the sources, the type is defined
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# Each channel's type is defined.
a1.channels.c1.type = file
a1.channels.c1.checkpointDir=/opt/datas/flume/channel/checkpoint
a1.channels.c1.dataDirs=/opt/datas/flume/channel/data



# Each sink's type must be defined
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path=/flume/hdfs2/
#设置文件类型和写的格式,解决中文乱码
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text

#Specify the channel the sink should use
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

命令：与案例1一样

HDFS结果 

文件内容：

2019-07-15 05:34:11,930 INFO  [main]: ql.Driver (Driver.java:compile(500)) - Semantic Analysis Completed
2019-07-15 05:34:12,060 INFO  [main]: ql.Driver (Driver.java:getSchema(266)) - Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:tab_name, type:string, comment:from deserializer)], properties:null)
2019-07-15 05:34:12,646 INFO  [main]: ql.Driver (Driver.java:compile(607)) - Completed compiling command(queryId=huadian_20190715053434_d650e334-f5f3-4e7e-b030-0622a759f812); Time taken: 1.595 seconds
2019-07-15 05:34:12,647 INFO  [main]: ql.Driver (Driver.java:checkConcurrency(186)) - Concurrency mode is disabled, not creating a lock manager
2019-07-15 05:34:12,647 INFO  [main]: ql.Driver (Driver.java:execute(1598)) - Executing command(queryId=huadian_20190715053434_d650e334-f5f3-4e7e-b030-0622a759f812): show tables
2019-07-15 05:34:12,665 INFO  [main]: ql.Driver (Driver.java:launchTask(1968)) - Starting task [Stage-0:DDL] in serial mode
2019-07-15 05:34:12,830 INFO  [main]: ql.Driver (Driver.java:execute(1877)) - Completed executing command(queryId=huadian_20190715053434_d650e334-f5f3-4e7e-b030-0622a759f812); Time taken: 0.183 seconds

测试案例3：存储在HDFS文件大小的问题，解决小文件问题

flume-conf.properties配置文件

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# For each one of the sources, the type is defined
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# Each channel's type is defined.
a1.channels.c1.type = file
a1.channels.c1.checkpointDir=/opt/datas/flume/channel/checkpoint
a1.channels.c1.dataDirs=/opt/datas/flume/channel/data



# Each sink's type must be defined
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path=/flume/hdfs1/
#设置文件类型和写的格式,解决中文乱码
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text

#设置多久进行一次保存
a1.sinks.k1.hdfs.rollInterval=0
#设置HDFS文件大小
a1.sinks.k1.hdfs.rollSize=10240
#在滚动之前写入文件的事件数
a1.sinks.k1.hdfs.rollCount=0

#Specify the channel the sink should use
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

结果：文件大小明显变化了

 测试案例4：数据指定目录到hdfs中，导入hive分区

设置每年每月每天每分钟进行分区

flume-conf.properties配置文件

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# For each one of the sources, the type is defined
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/logs/hive.log
a1.sources.s1.shell = /bin/sh -c


# Each channel's type is defined.
a1.channels.c1.type = file
a1.channels.c1.checkpointDir=/opt/datas/flume/channel/checkpoint
a1.channels.c1.dataDirs=/opt/datas/flume/channel/data



# Each sink's type must be defined
a1.sinks.k1.type = hdfs
#hdfs中存储文件的路径
a1.sinks.k1.hdfs.path=/flume/part/yearst=%Y/monthstr=%m/daystr=%d/minutestr=%M
#使用了时间格式，必须设置该属性
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#设置文件类型和写的格式,解决中文乱码
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text

#设置多久进行一次保存
a1.sinks.k1.hdfs.rollInterval=0
#设置HDFS文件大小
a1.sinks.k1.hdfs.rollSize=10240
#在滚动之前写入文件的事件数
a1.sinks.k1.hdfs.rollCount=0

#Specify the channel the sink should use
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

结果：

/flume/part/yearst=2019/monthstr=07/daystr=15/minutestr=50

导入Hive问题：

将Flume的文件导入Hive中，操作起来比较麻烦

原因一：

要求Hive表中的数据的存储格式必须为ORC（列式存储）

原因二：

要求Hive表为桶表、按照每条数据进行分桶

测试案例5：如何动态监听一个目录Spooling Directory Source

flume-conf.properties配置文件

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# defined sources
#设置Flume扫描文件夹
a1.sources.s1.type = spooldir
#具体扫描哪一个文件夹
a1.sources.s1.spoolDir = /opt/datas/flume/spool

# Each channel's type is defined.
a1.channels.c1.type = file
a1.channels.c1.checkpointDir=/opt/datas/flume/channel/checkpoint
a1.channels.c1.dataDirs=/opt/datas/flume/channel/data

# Each sink's type must be defined
a1.sinks.k1.type = hdfs
#hdfs中存储文件的路径
a1.sinks.k1.hdfs.path=/flume/part/yearst=%Y/monthstr=%m/daystr=%d/minutestr=%M
#使用了时间格式，必须设置该属性
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#设置文件类型和写的格式,解决中文乱码
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text

#设置多久进行一次保存
a1.sinks.k1.hdfs.rollInterval=0
#设置HDFS文件大小
a1.sinks.k1.hdfs.rollSize=10240
#在滚动之前写入文件的事件数
a1.sinks.k1.hdfs.rollCount=0

#Specify the channel the sink should use
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

结果：可以看到Linux下文件被加载成功了

测试案例6：过滤不被加载到Flume中的文件

在案例5中，被加载的文件只会被加载一次

这样后续写入到文件里的数据就不会被读取

为了解决这个问题，可以添加过滤操作

在需要加载该文件时，修改文件名，对该文件进行加载

flume-conf.properties配置文件

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# defined sources
#设置Flume扫描文件夹
a1.sources.s1.type = spooldir
#具体扫描哪一个文件夹
a1.sources.s1.spoolDir = /opt/datas/flume/spool
#正则过滤
a1.sources.s1.ignorePattern=([^ ]*\.tmp)

# Each channel's type is defined.
a1.channels.c1.type = file
a1.channels.c1.checkpointDir=/opt/datas/flume/channel/checkpoint
a1.channels.c1.dataDirs=/opt/datas/flume/channel/data



# Each sink's type must be defined
a1.sinks.k1.type = hdfs
#hdfs中存储文件的路径
a1.sinks.k1.hdfs.path=/flume/part/yearst=%Y/monthstr=%m/daystr=%d/minutestr=%M
#使用了时间格式，必须设置该属性
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#设置文件类型和写的格式,解决中文乱码
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text

#设置多久进行一次保存
a1.sinks.k1.hdfs.rollInterval=0
#设置HDFS文件大小
a1.sinks.k1.hdfs.rollSize=10240
#在滚动之前写入文件的事件数
a1.sinks.k1.hdfs.rollCount=0

#Specify the channel the sink should use
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

结果：可以看到后缀为.tmp 的文件没有被加载

测试案例7：动态监听多个文件，并加载到内存中

flume-conf.properties配置文件

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# defined sources
#如果是自己编译的类，这里写类的全路径
a1.sources.s1.type = TAILDIR
a1.sources.s1.positionFile =/opt/cdh5.7.6/flume-1.6.0-cdh5.7.6-bin/position/taildir_position.json
#文件组的绝对路径。 正则表达式（而不是文件系统模式）只能用于文件名。
a1.sources.s1.filegroups = f1 f2

a1.sources.s1.filegroups.f1 = /opt/datas/flume/taildir/test.txt
#标题值，使用标题键设置。 可以为一个文件组指定多个标头
a1.sources.s1.headers.f1.age = 17
a1.sources.s1.headers.f1.type = bb

a1.sources.s1.filegroups.f2 = /opt/datas/flume/taildir/huadian/.*
#标题值，使用标题键设置。 可以为一个文件组指定多个标头
a1.sources.s1.headers.f2.age = 18
a1.sources.s1.headers.f2.type = aa

# Each channel's type is defined.
a1.channels.c1.type = memory
#容量
a1.channels.c1.capacity=1000
#一次写出多少文件
a1.channels.c1.transactionCapacity=100


# Each sink's type must be defined
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path=/flume/taildir
#设置文件类型和写的格式,解决中文乱码
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text


#设置多久进行一次保存
a1.sinks.k1.hdfs.rollInterval=0
#设置HDFS文件大小
a1.sinks.k1.hdfs.rollSize=10240
#在滚动之前写入文件的事件数
a1.sinks.k1.hdfs.rollCount=0

#Specify the channel the sink should use
a1.sinks.k1.channel = c1
a1.sources.s1.channels = c1

结果

文件内容：

i
am
a
chinese

i
love
my
country

追加内容后Flume中的内容：


i
am
a
chinese

i
love
my
country
test1

 

无名一小卒
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
flume1.8使用常见问题的解决方法
youjiangtengwan1的博客
11-02 908
前提:hadoop集群已搭建好且已经起来。这里是hadoop2.7.3。zookeeper版本是3.4.6。flume版本是1.8。 常见问题如下: 这是因为flume默认读取utf-8编码的文件，但是文件本身不是utf-8编码。你可以把文件转换成utf-8格式的文件在放到上传目录。也可以用一下命令修改(本人没试过)。 iconv 你的文件名 -f 原来编码格式 -t UTF-8 -o ...
Flume日志采集流程(log-＞kafka-＞hdfs)
Mogeko1的博客
03-24 1495
Flume日志采集流程(log->kafka->hdfs)
日志采集Flume配置
想练武，就得下功夫
07-08 559
日志采集 Flume 配置
日志采集工具之Flume实操-上
xiaoleilei666的博客
07-11 1540
主要讲述使用flume工具采集日志；
Flume 数据采集
liuwei0376的专栏
07-12 3688
（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容 （3）修改脚本执行权限[bigdata_admin@hadoop102 bin]$ chmod 777 xcall.sh（4）启动脚本[bigdata_admin@hadoop102 bin]$ xcall.sh jps1）安装步骤略2）项目经验（1）项目经验之HDFS存储多目录虚拟机的项目不需要配置，我们只
Hadoop高级编程——构建与实现大数据解决方案.rar
10-25
1. 数据摄入：包括数据采集、预处理和清洗，可以使用Flume或Kafka进行实时数据流处理。 2. 数据存储：HBase和Hive分别提供列式存储和SQL查询支持，满足不同场景下的数据存储需求。 3. 数据处理：MapReduce、Spark、...
大数据系列-协作框架
07-31
在大数据环境中，Flume主要用于实时流数据的采集，它可以从各种数据源（例如网络日志、应用程序日志、社交媒体流等）收集数据，并将其可靠地传输到存储系统，如Hadoop HDFS或实时处理引擎Kafka。Flume具有高度可配置...
基于Spark+Kafka+Flume实现的电影推荐系统.zip
最新发布
12-24
Flume是Apache的一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的工具。在电影推荐系统中，Flume可能被用来从各种源（如Web服务器日志、社交媒体平台等）收集用户活动数据，然后将其传输到Kafka集群。...
hadoop-辅助工具-笔记.docx
05-13
Flume是一个专门设计用于大规模日志数据采集、聚合和传输的分布式系统。其核心特点包括： - **分布式、可靠、高可用**：Flume能够处理海量日志数据，确保数据的稳定传输和高可用性。 - **多源多目的地支持**：它...
大数据概述——精选推荐.pdf
12-24
关键技术和组件包括数据采集与预处理（如ETL工具和日志采集工具）、数据存储和管理（如分布式文件系统、数据仓库、数据库）、数据处理与分析（如分布式并行计算框架、机器学习算法）、数据安全和隐私保护（构建数据...
日志收集工具
03-21
logstash logstash logstash logstash logstash logstash
Flume日志采集系统安装与使用
weixin_43640161的博客
11-10 1074
Flume日志采集系统安装与使用 三、实验实现过程 重要知识点： 1.Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 实验内容与步骤： 一、Flume的安装与配置 1.Flume的下载安装 在Ubuntu下打开官网：http://flume.apache.org/download.html进行下载， 建议下载稳定版本apache
日志Flume采集工具安装与使用方法
qq_43388040的博客
09-30 301
Flume概述 flume 简介 1.flume是cloudera开发的后来贡献给了Apache的一套用分布式，高可靠的，高可用的海量分布式日志采集、聚合和传输的系统。 2.flume 的版本更新缓慢但是稳定。
beeline执行sql语句_jdbc 连hive查询报错，但beeline/hive cli都能正确执行
weixin_29977617的博客
12-23 1222
使用的各版本如下：hive-0.13.1-cdh5.3.2hadoop-2.5.0-cdh5.3.2hive开启服务器:nohup hive --servicehiveserver2 &java应用通过jdbc方式连接hive, url:jdbc:hive2://10.199.201.41:10000/default当执行 select * from kylin_account where...
实现flume tailfsource解决丢数等问题
07-16 3469
使用flume过程中，实时的收集数据时，一般使用exec的source，通过tail -F的形式收集日志内容，但是tail -F存在包括丢数在内一系列问题，实现tailfsource解决： public class TailingFileSource extends AbstractSource implements EventDrivenSource, Configurable {
flume properties配置文件详解
Rick的修仙路
10-16 4012
Properties 配置文件基础的netcata.sources=r1 //数据来源，可以多个，中间用空格分隔 a.channels=c1 //传输管道，一般只有一个，可以多个 a.sinks=k1 //数据沉淀，可以多个，中间用空格分隔 a.sources.r1.type=netcat //数据来源类型是输入 a.sources.r1.bind=m
使用Flume作为Spark Streaming数据源
weixin_45607431的博客
12-16 2732
使用Flume作为Spark Streaming数据源 一、实验目的 （1）通过实验学习日志采集工具Flume的安装和使用方法； （2）掌握采用Flume作为Spark Streaming数据源的编程方法。 二、实验平台 操作系统：CentOS Spark版本：2.4.7 Flume版本：1.7.0 三、实验内容和要求 1.安装Flume 解压安装包 tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt ln -sv apache-flume-1.7.0-bin
如何读取并采集动态增长的日志文件
ming070423的专栏
05-24 1354
想抓取一个Linux应用的日志文件，采集里面的有用信息。但由于日志文件是动态增长的，且增长相对较快，有没有什么好的方法只抓取最新的内容。 抄自 David M. Beazley: import timedef follow(thefile): thefile.seek(,2) while True: line = thefile.readline()
日志采集工具——Flume
不才伟才的博客
04-17 995
一、Flume介绍 1.1 概述 fcloudera开源提供的一个开源的日志采集工具； 可以从各个地方采集我们的数据 socket网络数据包， 文件夹， 某一个指定的文件里面， kafka消息队列里面采集。 可以将采集来的数据，发送到其他地方，比如日之外文件，hdfs数据存储，kafka消息队列。 一些概念： Event： 一个数据单元，消息头和消息体组成。（Even...
大数据课程-Hadoop集群程序设计与开发-8.Flume日志采集系统_lk_edit.pptx
01-01
在大数据课程——Hadoop集群程序设计与开发中，第8章专门探讨了Apache Flume日志采集系统。Flume是一个强大的数据收集工具，尤其适合处理多样化的数据源，如网站日志、监控数据和用户行为数据，其目标是解决数据收集...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无名一小卒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值