![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Flume
pandajava
这个作者很懒,什么都没留下…
展开
-
(5) flume ---- 工作记录2015年01月
1、修改flume-conf.properties文件,将sink的类型改成File Roll Sink,把格式化后的数据保存到本地 [/data/logs/flume/{type}/%Y%m%d/]文件命名规则不需要修改,文件滚动由每隔10分钟生成一个新文件修改为每300MB生成一个新文件;2、/data/logs/flume/{type}/%Y%m%d/ 中原创 2015-01-14 09:27:53 · 2991 阅读 · 0 评论 -
(4) Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例) (1-8)
四、如何安装? 1)将下载的flume包,解压到/home/hadoop目录中,你就已经完成了50%:)简单吧 2)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置123456789101112131415转载 2015-01-07 15:54:14 · 792 阅读 · 0 评论 -
(1) Appache Flume 中文介绍
专家写的 很好 http://blog.csdn.net/szwangdf/article/details/33275351Flume 是什么 Apache Flume是一个高可靠、高可用的分布式的海量日志收集、聚合、传输系统。它可以从不同的日志源采集数据并集中存储。Flume也算是Hadoop生态系统的一部分,源于Cloudera,目前是Apache基转载 2014-12-24 11:17:48 · 1532 阅读 · 0 评论 -
(3)flume 单节点写入HDFS练习 以及 自定义拦截器 进行formatLog
(1)参考http://my.oschina.net/leejun2005/blog/288136#OSC_h2_10(2)flume 用hdfs sink的时候需要用到hadoop的相关jar包。 使用cdh版本的会自带相关的jar包(3)flume_directHDFS2.conf # Firstly, now that we've defined all of our compo原创 2014-12-16 17:59:45 · 1369 阅读 · 0 评论 -
(2) flume 入门学习 HelloWorld 及HDFS 遇到的问题 总结
(1) HelloWorld Starting an agentAn agent is started using a shell script called flume-ng which is located in the bin directory of the Flume distribution. You need to specify the agent name,原创 2014-12-15 16:31:42 · 7902 阅读 · 0 评论