Flume
Jsoooo
这个作者很懒,什么都没留下…
展开
-
Flume奇葩异常
异常:说配置不了r1解决:配置文件中有些语句后加了分号 ; 导致无法配置原创 2018-10-11 16:32:47 · 186 阅读 · 0 评论 -
Flume与Hive集成-配置文件
转自:https://www.cnblogs.com/linux-wangkun/p/5454224.html转载 2018-12-06 14:54:33 · 387 阅读 · 0 评论 -
大数据技术图谱
转自:https://blog.csdn.net/stpeace/article/details/79232656转载 2018-11-20 10:50:47 · 644 阅读 · 0 评论 -
Kafka topic中的数据无法再Java端消费
现象:把数据放到kafka的一个topic中,用Java端 SparkStreaming+Kafka集成拿不到数据,而在linux上用自带的kafka-consumer就能消费到topic中的数据。解决:其实看着centOS ,jps,看Java进城Kafka进程还在,Application对应的Flume也还在,但是实际上在挂起后大概率已经停了,要杀掉进程重新启动Kafka和Flume进程...原创 2018-11-14 13:14:14 · 847 阅读 · 0 评论 -
Hadoop组件的各个进程及其作用
转自:https://www.jianshu.com/p/37b04eeedc6d转载 2018-11-06 16:46:49 · 1623 阅读 · 0 评论 -
大数据相关-笔/面试题
Hadoop面试题:https://blog.csdn.net/kingmax54212008/article/details/51257067?utm_source=blogxgwz2Hadoop笔试题:https://blog.csdn.net/zhongqi2513/article/details/78349083Spark面试题:https://blog.csdn.net/wei...转载 2018-10-20 14:04:32 · 244 阅读 · 0 评论 -
Flume1.7.0无KafkaSink
flume1.6.0中的flume-ng-core中的sink下有KafkaSInk方法,但flume1.7.0下又没有。解决:通过看maven的中央仓库去找,找到一个类似的:然后在pom.xml导入相应包就行了:下面就有KafkaSInk方法。...原创 2018-10-17 18:00:47 · 507 阅读 · 0 评论 -
Flume spoolDirSource 无法加header怎么办
自带的spoolDirSource不像avroSource一样可以加文件头,所以我们需要自定义步骤:1.在项目目录下的Maven dependencies下找下面选中的的:2.自己新建一个MySpoolDirectorySource的java class,将上面那个SpoolDirectorySource.class中的所有代码自己复制过去,改一下类名就行。3.找到run方法,在下面...原创 2018-10-17 16:27:45 · 585 阅读 · 0 评论 -
Flume常用命令
开启Flume:bin/flume-ng agent -f /opt/modules/flume-1.7.0-bin/conf/collectLog.conf -n a1-f :要用的配置文件-n:配置文件中agent的名字(我这里用的是a1)原创 2018-10-11 17:22:13 · 1969 阅读 · 0 评论 -
Flume HDFS Sink 写文件报错
说是文件名不是有效的DFS文件名查了一下HDFS文件名中不能有冒号(:)原创 2019-01-12 12:57:50 · 313 阅读 · 1 评论