Big Data
文章平均质量分 60
NicoleCao
这个作者很懒,什么都没留下…
展开
-
Flume安装、配置及简单示例
1. 系统需求: Flume需要JAVA1.6及以上(推荐1.7),对Agent监控目录的读写权限。2.下载软件包到Flume官网上http://flume.apache.org/download.html下载软件包,3. 简单示例3.1修改配置文件输入以下内容# 指定Agent的组件名称a1.sources = r1a1.sinks = k原创 2017-08-16 17:54:10 · 442 阅读 · 0 评论 -
Flume中使用KafkaChannel时topic中存在异常奇怪字符
Kafka的topic中每一行前面都会有奇怪的字符,方框或者点或者问号等等,如图: 解决方案:将flume中的配置文件.conf文件中的kafkaChannel的属性parseAsFlumeEvent默认为true,改为false即可。如下:其中a1为agent的名称,c1为channel名称a1.channels.c1.parseAsFlumeEvent = false原创 2017-09-05 14:59:45 · 1777 阅读 · 0 评论 -
flume中HDFS IO error
flume配置:kafka source + memory channel + HDFS sink配置内容:###################################################################################### list the sources, sinks, channels for the agent原创 2017-11-02 15:39:22 · 1975 阅读 · 0 评论 -
flume报java.nio.charset.MalformedInputException: Input length = 1 解决方案
Flume读取文件的过程中,遇到了如下的错误:问题原因:source组件的属性 inputCharset 默认的是 UTF-8, 但实际读取的文件类型是 ANSI(GBK)。解决方案:a1.sources.r2.inputCharset = GBK //将 inputCharset 设置为 GBK 即可。原创 2017-11-03 10:04:03 · 10863 阅读 · 1 评论