pyspark开发中,sparkStream与kafak整合,经常出现以下报错
原因: 缺少spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar包
解决方式如下:
linux中,上传以下目录(python的site-package的pyspark目录下),如:
/root/anaconda2/lib/python2.7/site-packages/pyspark-2.2.0-py2.7.egg/pyspark/jars
windows中,上传到以下目录(spark安装目录),如:
D:\develop\tools\spark-2.2.0-bin-hadoop2.7\jars