![](https://img-blog.csdnimg.cn/20200504135602246.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
【大数据】Flume1.9.0
【大数据】Flume1.9.0
北京小辉
余辉,硕士毕业于中科院,从事IT行业12年。专注于大数据、云数据、用户画像、推荐算法。在数据团队担任过的角色:研发、架构师、负责人、讲师。数据知识产权:出版大数据书籍【1】本,论文【2】篇,软著【6】篇,专利【65】篇。
展开
-
flume1.9保存文件到hdfs的错误解决
flume配置sink向hdfs中写入文件,在启动的时候遇到的报错问题Failed to start agent because dependencies were not found in classpath. Error follows.java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$Compressio...原创 2020-03-05 21:19:03 · 3272 阅读 · 0 评论 -
CDH配置启动flume
目录:一、如何使用flume二、进入配置管理三、关于配置文件———————————————————————————-请提前参考我的Flume博客:http://blog.csdn.net/silentwolfyh/article/category/6186343一、如何使用flume在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数二、进入配置管理三、关于配置原创 2017-01-03 16:58:18 · 9935 阅读 · 4 评论 -
CDH的Flume配置Adding multiple flows in an agent
注意事项:1)需求:在CDH的Flume上面配置2个flows,2个flows的监控文件路径不一样,且将监控的文件发送到不同kafka中,最后删除读取完的文件http://flume.apache.org/FlumeUserGuide.html#adding-multiple-flows-in-an-agent http://flume.apache.org/FlumeUserGuide.html原创 2017-03-06 13:07:26 · 1294 阅读 · 0 评论 -
FLume:通过端口监控flume的运行程序
flume启动flume-ng agent -n agent1 -c conf -f /home/flume-1.6.0/conf/flume-zhuis-conf.properties -Dflume.root.logger=DEBUG,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34545 >/h原创 2016-04-22 23:43:14 · 10766 阅读 · 1 评论 -
Flume:本地文件到Kafka
官网的配置 : https://flume.apache.org/FlumeUserGuide.html配置文件 cd /usr/app/flume1.6/conf vi flume-dirKakfa.properties#agent1 nameagent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Spoolin原创 2016-04-16 00:27:07 · 3557 阅读 · 0 评论 -
Flume:本地文件到HDFS
Flume下载地址apache-flume-1.6.0-bin.tar.gzhttp://pan.baidu.com/s/1o81nR8e s832apache-flume-1.5.2-bin.tar.gzhttp://pan.baidu.com/s/1bp6tXVL 4n4z官网https://flume.apache.org/download.html配置文件 cd /usr/app原创 2016-04-15 23:35:45 · 3234 阅读 · 0 评论 -
Flume的使用问题及解决方案
在使用flume-ng时,踩了很多坑,现在来说一下,希望大家绕过坑,到达熟练使用flume的目的第一坑:不能正确解码文件,造成不能正确的重命名文件,抛出bug后,之后所有文件都不可以被flume收集,是一个比较严重的错,引起原因是flume使用NIO方式读取文件,将读取的文件以UTF-8的编码读取,在linux状态下,默认是按照GBK编码方式存储文件,所以读取时就会遇到字符长度不够问题,解决办原创 2016-04-17 08:20:41 · 4111 阅读 · 0 评论 -
Flume的可靠性保证:故障转移、负载均衡
Flume的一些组件(如Spooling Directory Source、File Channel)能够保证agent挂掉后不丢失数据。1、负载均衡1)Load balancing Sink Processorsource里的event流经channel,进入sink组,在sink组内部根据负载算法(round_robin、random)选择sink,后续可以选择不同机器上的agent实现负载均衡原创 2016-04-16 00:33:12 · 12488 阅读 · 2 评论 -
Flume入门教程
1、数据流模型 Flume的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。 Flume传输的数据的基本单位是Event,如果是文本文件,通常是一行记录,这也是事务的基本单位。Event从Source,流向Channel,再到Sink,本身为一个byte数组,并可携带headers信息。E原创 2016-04-15 22:35:34 · 1948 阅读 · 0 评论 -
Flume安装
Flume下载地址 apache-flume-1.6.0-bin.tar.gz http://pan.baidu.com/s/1o81nR8e s832 apache-flume-1.5.2-bin.tar.gz http://pan.baidu.com/s/1bp6tXVL 4n4z 官网 https://flume.apache.org/downlo原创 2016-04-15 22:28:22 · 742 阅读 · 0 评论