flume
Knuth1989
本人有3年大数据课程、Java课程授课经验
3年的java web 开发经验
1年的项目管理经验
2年的大数据开发经验
展开
-
flume1.6.0安装
1) 到flume官网http://flume.apache.org/download.html下载的flume-1.6.0-es2.tar.gz包 2) 解压到/home目录中 3) 进入/home/flume-1.6.0-es2/conf ,修改flume-env.sh 配置文件,主要是JAVA_HOME变量设置 4) vi /etc/profile增加环境变量原创 2017-06-17 09:38:30 · 300 阅读 · 0 评论 -
flume启动配置
flume启动配置 nohup ./bin/flume-ng agent --conf /opt/flume-1.6.0-es2/conf --conf-file /opt/flume-1.6.0-es2/conf/agentTraffic.cfg -n a1 -C ./ma-npm.jar &原创 2017-06-09 16:09:13 · 346 阅读 · 0 评论 -
flume日志报错,同时没能正常收集相关日志文件
flume日志报错,同时没能正常收集相关日志文件 最近flume报了一个错:Caused by: org.apache.flume.ChannelException: Space for commit to queuecouldn't be acquired Sinks are likely not keeping up with sources, or thebuffer原创 2017-08-16 16:02:07 · 834 阅读 · 1 评论 -
flume的三种channel比较
flume的三种channel Flume中提供的Channel实现主要有三个: Memory Channel event保存在Java Heap中。如果允许数据小量丢失,推荐使用 File Channel event保存在本地文件中,可靠性高,但吞吐量低于Memory Channel JDBC Channel原创 2017-08-16 16:07:27 · 2212 阅读 · 0 评论