dsg_11 flume

最新推荐文章于 2022-03-25 10:50:27 发布
最新推荐文章于 2022-03-25 10:50:27 发布
阅读量136 收藏 2
点赞数
分类专栏： java-大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34191426/article/details/109298995
版权

flume

介绍

flume是收集、移动、聚合大量日志数据的服务。flume基于流数据的架构，用于在线日志分析。flume在生产和消费者之间启动协调作用。flume是基于事件的一种服务，提供了事务保证，确保消息一定被分发。

flume的特点

  1. 支持各种接入资源数据的类型以及接出数据类型
  2. 支持水平扩展（增加节点服务器）
  3. 支持竖直扩展（增加硬件，如硬盘）

flume的结构组件

在这里插入图片描述

  • source：接受数据，类型有多种，然后把这些数据传递到一个或多个channel中。
  • channel：数据临时存放地，对source中来的数据进行缓冲，直到sink消费掉。在source和sink之间扮演桥梁的角色
  • sink：从channel提取数据存放到中央化存储(hadoop / hbase)。

注意： 一个source可以向多个channel写数据，但是每个sink只能从一个channel中取数据

安装flume

  1. 下载apache-flume-1.8.0-bin.tar.gz
  2. 将压缩文件上传到服务器并解压
  3. 修改环境变量
    	export FLUME_HOME=/soft/
	export PATH=$PATH:$FLUME_HOME/bin
  4. 查看安装是否生效
    	flume-ng version

配置flume

flume官方文档

  • 前往/apache-flume-1.8.0-bin/conf目录下，复制flume-conf.properties.template模板文件为新的文件，文件名可以自定义

    	cp flume-conf.properties.template flume-testNC.properties

  • 修改配置文件flume-testNC.properties

    	#定义三种组件，a1是自定义代理名称
	a1.sources=r1
	a1.channels=c1
	a1.sinks=s1
	
	#定义source信息
	#指定连接源netcat（瑞士军刀，一种套接字程序）
	a1.sources.r1.type=netcat
	#指定连接source服务器的ip
	a1.sources.r1.bind=localhost
	#指定source的端口
	a1.sources.r1.port=8888
	
	#定义sink输出的类型
	a1.sinks.s1.type=logger
	
	#定义channnel的类型，memory指内存通道
	a1.channels.c1.type=memory
	
	#将source和sink与channel绑定在一起，注意channel的单复数，一个source和连接多个channel，一个sink只能连接一个channel
	a1.sources.r1.channels=c1
	a1.sinks.s1.channel=c1

  • 下载安装套接字程序netcat，以做测试

    	yum install nmap-ncat.x86_64

  • 启动测试

    	#先启动flume
	#-f：声明上面配置文件的路径 -n：声明代理的名称，-Dflume.root.logger设置日志等级和输出的位置，console表示输出到控制台
	flume-ng agent -f /soft/apache-flume-1.8.0-bin/conf/flume-testNC.properties -n a1 -Dflume.root.logger=INFO,console

	#后台运行
	flume-ng agent -f /soft/apache-flume-1.8.0-bin/conf/flume-testNC.properties -n a1 &

	#新开一个会话启动瑞士军刀连接flume的source
	nc localhost 8888

	#输入任意内容查看flume的接收情况

source

  • netcat：监听会话

  • exec：监听文件
    配置文件：

    a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=exec
#监听/home/a.txt文件；-c+0从头开始收集数据（注意+号两边不能有空格），-F持续收集新数据
a1.sources.r1.command=tail -c+0 -F /home/a.txt

a1.sinks.s1.type=logger

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

  • spooldir：监听文件夹
    配置文件：

    a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=spooldir
#监听/home/xuhx文件夹，注意：type的值的d是小写，这边的属性的D是大写
a1.sources.r1.spoolDir=/home/xuhx
a1.sources.r1.fileHeader=true

a1.sinks.s1.type=logger

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

    注意：该文件夹下生成的文件都会被flume监听到，监听到的文件都会打一个后缀标记.COMPLETED，已经打过标记的文件必须是静态文件，不能在发生变化，否则会报错！

  • seq：序列

    a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=seq
#设置压力测试序列数1000个
a1.sources.r1.totalEvents=1000

a1.sinks.s1.type=logger

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

  • StressSource 用于压力测试

    a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=org.apache.flume.source.StressSource
a1.sources.r1.size=1024
a1.sources.r1.maxTotalEvents=1000000

a1.sinks.s1.type=logger

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

sink

  • hdfs

    a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=8888


a1.sinks.s1.type=hdfs
#设置hdfs的保存路径，可以根据时间动态设置目录
a1.sinks.s1.hdfs.path = /flume/events/%y-%m-%d/%H/%M/%S
#设置数据保存文件名的前缀
a1.sinks.s1.hdfs.filePrefix=events-

#是否生成新的目录
a1.sinks.s1.hdfs.round=true
#生成目录的时间
a1.sinks.s1.hdfs.roundValue=10
#生成目录的时间单位
a1.sinks.s1.hdfs.roundUnit=second
#是否取用hdfs系统时间作为参考（一般配置涉及到时间的都要设置这个属性）
a1.sinks.s1.hdfs.useLocalTimeStamp=true

#滚动当前文件之前等待的秒数
a1.sinks.s1.hdfs.rollInterval=10
#设置文件满足多大时创建新的文件，单位是字节
a1.sinks.s1.hdfs.rollSize=10
#创建文件之前写入文件的事件数
a1.sinks.s1.hdfs.rollCount=3

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

  • hive

  • hbase

    a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=8888

a1.sinks.s1.type=hbase
#设置数据存储的表格
a1.sinks.s1.table=mydb1:t8
#设置数据存储的列族
a1.sinks.s1.columnFamily=f1
a1.sinks.s1.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

    注意： 本人在操作过程中遇到了一个错误HBase major version number must be less than 2 for hbase-sink，我的Hbase是2.0版本的，百度找到解决方案将apache-hive-2.3.3-bin/lib下所有hbase-*.jar复制到apache-flume-1.8.0-bin/lib下，确实解决了，至于为什么从hive里面取jar包我也不知道，有知道原因的欢迎评论留言。

  • kafka

跃点处理

跃点即为路由，即当一个数据传输需要经过多个网络，每一个网点都要有一个中转站，来中转这些数据，这些中转站就是跃点，在众多的数据传输格式中，avro的数据传输量是最小的，所以在这里我们使用avro配合flume来搭建一个跃点。

  1. 搭建接收数据源数据
    	a1.sources=r1
	a1.sinks=k1
	a1.channels=c1

	a1.sources.r1.type=netcat
	a1.sources.r1.bind=localhost
	a1.sources.r1.port=5555
	
	#sink提取数据转为avro发送
	a1.sinks.k1.type=avro
	a1.sinks.k1.hostname=localhost
	#数据输出端口6666
	a1.sinks.k1.port=6666

	a1.channels.c1.type=memory

	a1.sources.r1.channels=c1
	a1.sinks.k1.channel=c1
  2. 搭建接收端展示
    	a2.sources=r2
	a2.sinks=k2
	a2.channels=c2

	a2.sources.r2.type=avro
	a2.sources.r2.bind=localhost
	#数据接收端口7777
	a2.sources.r2.port=7777
	
	#打印输出
	a2.sinks.k2.type=logger

	a2.channels.c2.type=memory

	a2.sources.r2.channels=c2
	a2.sinks.k2.channel=c2
  3. 搭建跃点（中转站）
    	a3.sources=r3
	a3.sinks=k3
	a3.channels=c3

	a3.sources.r3.type=avro
	a3.sources.r3.bind=localhost
	#接收数据源
	a3.sources.r3.port=6666
	
	#sink提取数据转为avro发送
	a3.sinks.k3.type=avro
	a3.sinks.k3.hostname=localhost
	a3.sinks.k3.port=7777

	a3.channels.c3.type=memory

	a3.sources.r3.channels=c3
	a3.sinks.k3.channel=c3
  4. 启动顺序：
    先启动a2，再启动a3，最后启动a1（原因：source是开发一个服务端口，由其他应用往这个端口灌输数据，而sink是向其他端口写数据，所以说只有先开放接收端口，人家才能往里面写，而最终的接收是a2，所以先开a2，a3是第二接收，所以再开a3，然后是a1，最后开启netcat往里面写数据）

channel

  1. MemoryChannel（内存通道）

    a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=6666

a1.sinks.k1.type=logger

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

    非永久性暂存数据，速度快，不可靠（一旦系统崩溃，就会造成数据丢失）

  2. FileChannel（文件通道）

    a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=6666

a1.sinks.k1.type=logger

a1.channels.c1.type=file
#配置检查站点的目录
a1.channels.c1.checkpointDir=/home/fc_check
#配置通道数据存放的目录
a1.channels.c1.dataDirs=/home/fc_data

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

    永久性暂存数据，速度慢，吞吐量低，可靠

  3. Spillable Memory Channel（可溢出内存通道）

    a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=6666

a1.sinks.k1.type=logger

a1.channels.c1.type=SPILLABLEMEMORY
a1.channels.c1.memoryCapacity=10000
a1.channels.c1.overflowCapacity=10000000
a1.channels.c1.byteCapacity=800000
a1.channels.c1.checkpointDir=/home/fc_check
a1.channels.c1.dataDirs=/home/fc_data

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

    内存通道和文件通道的组合

码仆的逆袭
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase1.2.3版本常用配置参数说明
农村外出务工男的博客
01-24 3170
一、前言     主要针对HBase的1.2.3版本参照官网，对其常用配置参数进行翻译说明，供查阅。 二、配置参数说明   hbase.tmp.dir ${java.io.tmpdir}/hbase-${user.name} Temporary directory on the local filesystem. Change this setting to
HBase major version number must be less than 2 for hbase-sink
weixin_34162695的博客
03-05 807
2019独角兽企业重金招聘Python工程师标准>>> ...
解决 HBase major version number must be less than 2 for hbase-sink
Hugh__Hu的博客
07-06 1507
在flume采集数据sink到hbase的时候, 启动脚本遇到HBase major version number must be less than 2 for hbase-sink版本问题,尝试之后发现解决方法如下:将  $HIVE_HOME/lib 下的以 hbase开头的 jar 包拷贝到 $FLUME_HOME/lib 文件夹下cp   $HIVE_HOME/lib/hbase*   $...
hbase崩溃问题
weixin_52105111的博客
03-25 1925
最近因为我在搞Flume-kafka-hbase 集成，昨天不知道咋了的突然我的hbase就崩溃了，说是说hbase崩溃了，其实我更崩溃，因为这已经不是第一次这样了，hbase崩溃的第一百个原因 先放一放我得先抢个明天图书馆位置，每晚八点抢，这个疫情真烦。然后我八点钟有个直播课到九点，差不多就该回去了，明天我买的新手机也到了，明天会有个好心情来整理这hbase崩溃到修复好的心路历程，心很累，因为一出问题真的就是很痛苦去看文章，纠错。 ...
less : 解决升级后报错的问题
weixin_30938149的博客
03-31 1390
vue2项目。 上版本。 { "name": "xxx", "version": "1.0.0", "description": "xxx", "author": "novel.slientspace.site", "private": true, "scripts": { "dev": "webpack-dev-server --inline...
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
在大数据处理领域，Flume 是一个广泛使用的工具，主要用于收集、聚合和移动大量日志数据。这个名为 "flume-demo_大数据_flume_DEMO_自定义拦截器_" 的项目，显然是一个示例，展示了如何在 Flume 中创建并使用自定义...
apache_flume_tutorial
01-06
Apache Flume是一款标准的、简单的、健壮的、灵活的并且可扩展的数据采集工具，它主要用来将各种数据生产者（如web服务器）的数据输入到Hadoop。在本教程中，我们将使用简单且具有代表性的例子来解释Apache Flume的...
java大数据内容_7Flume、Kafka、Sqoop、Lucene
01-23
### Java大数据内容_7Flume、Kafka、Sqoop、Lucene #### 一、Flume 入门 ##### 1.1 Flume 概述 Flume 是一个分布式的、可靠的、高可用的日志采集系统，主要用于收集、汇总和移动大量的日志数据。它由 Cloudera ...
java大数据案例_7Flume、Kafka、Sqoop、Lucene
01-23
### Java大数据案例详解：Flume、Kafka、Sqoop、Lucene #### 一、Flume日志收集至HDFS 在大数据处理流程中，数据的收集与传输是非常关键的一环。Apache Flume是一个分布式的、可靠的、高可用的系统，用于有效地...
rocketmq_flume_project.zip
12-18
在rocketmq-flume项目根目录执行mvn clean install dependency:copy-dependencies进行源码编译，产生 rocketmq-flume-source-1.0.0.jar包，拷贝到flume的lib目录下，通过添加flume的source配置，即可实现 rocketmq中...
sqoop2的安装
Hugh__Hu的博客
07-02 231
sqoop1.  解压  tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz2.  修改  hadoop中的core-site.xml<property>         <name>hadoop.proxyuser.sqoop2.hosts</name>          <value>*</value&g...
MDK提示the project file has a newer major version number...问题
现在记性太差了
01-19 3497
之前用MDK能打开的工程，再次打开就提示the project file has a newer major version number，版本不一致，不能加载。打开*.uvprojx文件，可以看到<SchemaVersion>2.1</SchemaVersion> 打开*.uvmpw文件，可以看到 <SchemaVersion>1.0</SchemaVersion> 打开*.uvoptx文件
HBase相关开发小结
开发之路
07-25 2982
HBase使用总结 1、  使用压缩存储 HBase用于大规模的数据管理，数据一般会达到TB级，量级一般会达到billion级，如果不采用压缩模式管理数据会大大的增加HDFS的存储及NameNode的管理压力，LZO压缩是HDFS支持的压缩格式，可以将数据压缩到50%左右，并且压缩和解压速度相比zip等模式要快。在HBase使用LZO压缩前需要做以下准备： 1、  安装lzo-2.04-1.
读者来信 | 如何判断HBase Major Compact是否执行完毕？（已解决）
weixin_42047967的博客
04-08 2609
前言：之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》，扫描文末二维码解锁更多姿势！ 来信人：罗*铭 小猿提问 如何判断HBase Major Compact是否执行完毕？ 小猿解答 这里提供两种查看方式： 一种是HBase WebUI 界面； ...
flume+hbase,自定义hbase-sink，hive集成habase
qq_31073717的博客
07-04 403
1.编写flume-hbase.conf a1.sources=r1 a1.channels= hbaseC a1.sinks= hbaseS2 a1.sources.r1.type = avro a1.sources.r1.bind = spark1 #spark1端的flume source的端口必须与8989保持一致 a1.sources.r1.port = 8989 a1.source...
机器学习模型评估与优化：常用方法与实践技巧.md
08-15
机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器学习模型机器
强化学习算法介绍.docx
最新发布
08-15
强化学习
java flume_解决flume运行中的一个异常问题！
05-27
当 Flume 运行时，有时会遇到以下异常信息： ``` ERROR [lifecycleSupervisor-1-0] (org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run:253) - Unable to start EventDrivenSourceRunner: { ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值