spark
kangker
这个作者很懒,什么都没留下…
展开
-
spark-shell启动报错--无法连接master
①spark standalone模式无法启动,连接master失败,但是集群用jps查看时,master明明已经启动。②spark-shell on yarn启动时,无法创建sc。原因:通过hadoop104:8080查看master节点时,master节点的状态为standby,说明集群中目前没有master提供服务。...原创 2019-02-24 13:56:51 · 1892 阅读 · 0 评论 -
spark-submit报错java.lang.IllegalStateException: User did not initialize spark context!
在IDEA上编写spark程序,打成jar包之后,上传到服务器,然后以yarn cluster模式提交:bin/spark-submit --class com.BRC.spark.WordCount --master yarn --deploy-mode cluster ./wordcount-1.0-SNAPSHOT.jar hdfs://test-szzt01:8020/test/hello...原创 2019-03-21 12:44:06 · 11022 阅读 · 6 评论 -
CDH版本spark报Exception in thread "main" java.lang.NoClassDefFoundError:org/slf4j/impl/StaticLoggerBind
原因是/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/jars目录下缺少jar包slf4j-log4j12-1.7.5.jar即使有相关的jar包也要看slf4j和log4j版本是否能匹配参考博文https://blog.csdn.net/langtian08/article/details/82015017https://bl...原创 2019-03-19 13:24:49 · 3814 阅读 · 0 评论 -
spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
./bin/spark-shell启动shell环境后,提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:9000/test/output”)spark报异常这里时H...原创 2019-03-19 13:30:53 · 2423 阅读 · 0 评论