spark
文章平均质量分 56
蓝天688
数据开发,程序员
展开
-
spark_windows_sasl_gss_initiate_failed
本地Windows 环境 连接cdh 6.3.2 hive2.1.1, 集群hadoop 版本3.0.0-cdh6.3.2本地windows hadoop 版本2.7.7出现如上错误。尝试解决办法:之前cdh hadoop版本为2.7的时候,windows远程连接是正常的。排查日志(主要是cloudera manager namenode日志)发现,是因为hadoop 版本升级导致的,之前hadoop版本是2.7,中间有人升级到了hadoop3.0.namenode中的提示日志如下:.原创 2021-04-08 21:54:58 · 378 阅读 · 0 评论 -
spark 加载多个目录; RDD输出到hdfs文件压缩
(1) spark textFile加载多个目录: 其实很简单,将多个目录(对应多个字符串),用,作为分隔符连接起来 val inputPath = List("hdfs://localhost:9000/test/hiveTest", "hdfs://localhost:9000/test/hiveTest2") .mkString(",原创 2017-08-30 00:32:55 · 5761 阅读 · 0 评论 -
spark streaming restart error: org.apache.spark.SparkException: Yarn application has already ended!
使用 KafkaUtils.createDirectStream,hdfs 设置checkPoint目录,restart spark streaming application; then error:17/09/06 10:30:39 ERROR SparkContext: Error initializing SparkContext.org.apache.spark.Spark原创 2017-09-06 14:20:41 · 718 阅读 · 0 评论