1. spark不能通过hdfs:///zqj/kddcup.data10路径找到文件资源,
解决方法:val rawData=sc.textFile("hdfs://10.141.208.43:9000/zqj/kddcup.data10") 写上hadoop,namenode的地址
2.Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
打开META-INF目录,将*.SF,*.DSA,*.RSA文件删除,即可。应为有些包有签名,导致错误。
此问题,可以参考下面的连接,这位大神比较详细,http://www.cnblogs.com/fuxinci/p/3356087.html,(如有侵权请告知,会删除,谢谢!)。
3.获取hdfs上面文件的地址
val HDFS_DATA_PATH="hdfs://10.141.208.43:9000/zqj/kddcup.data10"
可以查看hdfs的配置文件获得。注意端口号别写错 50070是webui的地址