spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

./bin/spark-shell启动shell环境后，提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:9000/test/output”)

spark报异常

这里时HDFS端口问题，将9000端口改为8020再提交
sc.textFile(“hdfs://test-szzt01:8020/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:8020/test/output”)

单独安装的Hadoop的fs.defaultFS默认端口号为9000，而CDH中默认为8020。比如可以使用"hdfs://namenode:8020/user/asin/test.txt"在程序中访问你的文件。