flume
Knuth1989
本人有3年大数据课程、Java课程授课经验
3年的java web 开发经验
1年的项目管理经验
2年的大数据开发经验
展开
-
flume1.6.0安装
1) 到flume官网http://flume.apache.org/download.html下载的flume-1.6.0-es2.tar.gz包2) 解压到/home目录中3) 进入/home/flume-1.6.0-es2/conf ,修改flume-env.sh 配置文件,主要是JAVA_HOME变量设置4) vi /etc/profile增加环境变量原创 2017-06-17 09:38:30 · 307 阅读 · 0 评论 -
flume启动配置
flume启动配置nohup ./bin/flume-ng agent --conf /opt/flume-1.6.0-es2/conf --conf-file /opt/flume-1.6.0-es2/conf/agentTraffic.cfg -n a1 -C ./ma-npm.jar &原创 2017-06-09 16:09:13 · 354 阅读 · 0 评论 -
flume日志报错,同时没能正常收集相关日志文件
flume日志报错,同时没能正常收集相关日志文件最近flume报了一个错:Caused by: org.apache.flume.ChannelException: Space for commit to queuecouldn't be acquired Sinks are likely not keeping up with sources, or thebuffer原创 2017-08-16 16:02:07 · 850 阅读 · 1 评论 -
flume的三种channel比较
flume的三种channelFlume中提供的Channel实现主要有三个:Memory Channel event保存在Java Heap中。如果允许数据小量丢失,推荐使用File Channel event保存在本地文件中,可靠性高,但吞吐量低于Memory ChannelJDBC Channel原创 2017-08-16 16:07:27 · 2217 阅读 · 0 评论