北京小辉的博客

学习是一种享受，也是一种痛苦，更是一种回忆！！！

全部文章> 【大数据】Flume
排序：
默认
按更新时间
按访问量
RSS订阅

原 CDH的Flume配置Adding multiple flows in an agent

注意事项：1）需求：在CDH的Flume上面配置2个flows，2个flows的监控文件路径不一样，且将监控的文件发送到不同kafka中，最后删除读取完的文件http://flume.apache.org/FlumeUserGuide.html#adding-multiple-flows-in-a...

2017-03-06 13:07:26

阅读数：699

评论数：0

原 CDH配置启动flume

目录：一、如何使用flume二、进入配置管理三、关于配置文件———————————————————————————-请提前参考我的Flume博客：http://blog.csdn.net/silentwolfyh/article/category/6186343一、如何使用flume在CDH界面添...

2017-01-03 16:58:18

阅读数：4166

评论数：0

原 FLume：通过端口监控flume的运行程序

flume启动 flume-ng agent -n agent1 -c conf -f /home/flume-1.6.0/conf/flume-zhuis-conf.properties -Dflume.root.logger=DEBUG,console -Dflume.monitori...

2016-04-22 23:43:14

阅读数：7090

评论数：0

原 Flume的使用问题及解决方案

在使用flume-ng时，踩了很多坑，现在来说一下，希望大家绕过坑，到达熟练使用flume的目的 第一坑：不能正确解码文件，造成不能正确的重命名文件，抛出bug后，之后所有文件都不可以被flume收集，是一个比较严重的错，引起原因是flume使用NIO方式读取文件，将读取的文件以UTF-8的编码...

2016-04-17 08:20:41

阅读数：2363

评论数：0

原 Flume的可靠性保证：故障转移、负载均衡

Flume的一些组件（如Spooling Directory Source、File Channel）能够保证agent挂掉后不丢失数据。1、负载均衡1）Load balancing Sink Processorsource里的event流经channel，进入sink组，在sink组内部根据负载...

2016-04-16 00:33:12

阅读数：7218

评论数：2

原 Flume：本地文件到Kafka

官网的配置 ： https://flume.apache.org/FlumeUserGuide.html配置文件 cd /usr/app/flume1.6/conf vi flume-dirKakfa.properties#agent1 name agent1.sources=source1 ...

2016-04-16 00:27:07

阅读数：2211

评论数：0

原 Flume：本地文件到HDFS

Flume下载地址apache-flume-1.6.0-bin.tar.gz http://pan.baidu.com/s/1o81nR8e s832apache-flume-1.5.2-bin.tar.gz http://pan.baidu.com/s/1bp6tXVL 4n4z官网 https...

2016-04-15 23:35:45

阅读数：1903

评论数：0

原 Flume入门教程

1、数据流模型 　  Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 　  Flume传输的数据的基本单位是Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。Event从So...

2016-04-15 22:35:34

阅读数：993

评论数：0

原 Flume安装

Flume下载地址 apache-flume-1.6.0-bin.tar.gz http://pan.baidu.com/s/1o81nR8e s832 apache-flume-1.5.2-bin.tar.gz http://pan.baidu.com/s/1bp6...

2016-04-15 22:28:22

阅读数：470

评论数：0

提示
确定要删除当前文章？
取消 删除