flume使用pull方式整合Streaming问题： Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSin

参考官网：

http://spark.apache.org/docs/2.1.0/streaming-flume-integration.html

1.现象

flume输入命令后

bin/flume-ng agent  \
--name simple-agent \
--conf conf \
--conf-file conf/flume_pull_streaming.conf \
-Dflume.root.logger=INFO,console

报错：

org.apache.flume.FlumeException: Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.streaming.flume.sink.SparkSink

 

2.原因：

flume的lib下面没有org.apache.spark.streaming.flume.sink.SparkSink这个类，需要使用与自己的版本对应的类。可以参考官网的pom的配置，下载对应的jars包。

 

3.解决：

将从pom加载的spark-streaming-flume-sink_2.11-2.1.0.jar包，拷贝到flume的lib目录下，重新运行，即可！

 

（希望大家点赞鼓励，谢谢~！）