在写spark-streaming + kafka 实现项目问题

在ide的本地开发都是好的，但是使用spark-submit提交到集群时出现了问题。

后面发现在开发环境中使用了maven来构建项目，所以配置的spark版本是2.1.0，scala版本是2.11.11，hadoop是2.7.2，kafka是2.1版本的，本地调试时能正常消费kafka生成的数据进行计算。

    但是使用spark-submit提交到搭建的集群环境时出现了问题，先是出现了classNOtFoundException，类找不到，后来发现是没有在/etc/profile中配置classpath导致运行不了，后面把所有的需要用到的jar包的路径在里面配置了，又出现了其他错误。    

        后面发现版本不一致的问题，在集群上面的版本是spark1.6.1的和开发环境中的环境不一致，而后又更改了集群上面的spark版本为2.1.0。还有出现的问题是消费kafka数据的时候出现获取kafka对应路径创建的path出错。经过各种实验才发现在spark-streaming消费的过程中当不往kafka里面放数据的时候会出现创建某个路径失败，因为缺少了数据，可能是需要添加处理，没有数据的时候不要出现报错的情况，让他过一段时间来进行巡查看看是否有数据。