![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
海绵宝宝-Bob
这个作者很懒,什么都没留下…
展开
-
大数据之flume:用Flume采集多台机器上的多种日志并存储于HDFS
需求: 把node01、node02 机器中的access.log、nginx.log、web.log 汇总到node03机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为: /source/access/20160101/** /source/nginx/20160101/** /source/web/20160101/** 第一步:配置node01和node...转载 2019-07-03 23:56:23 · 1896 阅读 · 1 评论 -
大数据之flume:常见问题和解决办法
在进行flume订阅kafka产生的错误:org.apache.flume.conf.ConfigurationException 解决办法:我安装的flume是1.5,但是配置文件写法参考的是1.7,flume版本不同,配置文件的写法也不同,所以运行报错,改成1.5的配置写法就可以了(目前没找到1.5中对于kafka.topic.regex这种主题名称正则匹配的方式,只好先采用多sour...原创 2019-09-22 10:54:24 · 1238 阅读 · 0 评论