![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
彩虹豆
欢迎各种T友交流相关大数据技术问题
展开
-
Spark + 神通数据库连接
spark连接神通数据库原创 2022-08-01 19:38:32 · 1168 阅读 · 0 评论 -
java.sql.SQLException: No suitable driver
spark 读写mysql,本地调试运行OK,打包集群运行:20/08/04 19:28:01 ERROR yarn.ApplicationMaster: User class threw exception: java.sql.SQLException: No suitable driverjava.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) a原创 2020-08-04 19:51:12 · 584 阅读 · 0 评论 -
spark java.lang.ExceptionInInitializerError 累加器使用
记一次spark 累加器使用记录正确代码:object SparkTest { val sparkConf: SparkConf = new SparkConf() .setMaster("local[3]") .setAppName("Test") val session: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate() val longAccumulator:原创 2020-07-29 17:03:43 · 1315 阅读 · 0 评论 -
Spark sql NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions
spark sql 写入hive 分区表报错:程序本身无BUG,因为之前跑过的,并且这个错是在CDH集群上spark组件重新安装后出现的。这个报错是在程序读取数据,开始写入分区时出现。Exception in thread "main" java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.原创 2020-05-27 19:59:14 · 1291 阅读 · 0 评论 -
Spark Exception in thread main java.lang.AbstractMethodError
都是CDH集群模式测试Spark安装包: SPARK2_ON_YARN-2.1.0.cloudera1.jarSPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.232957-el6.parcelSPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.232957-el6.parcel.sha manifest.json生产Spark安装包: ...原创 2020-05-27 16:41:22 · 372 阅读 · 0 评论 -
Spark 集群问题排查
第一个问题:再安装完spark后,需要重新部署客户端配置时,执行到最后一个步骤:报错仅完成 0/4 个步骤。首个失败:主机 staging-master (id=1) 上的客户端配置 (id=34) 已使用 1 退出,而预期值为 0。原因:因为cm安装spark不会去环境变量去找java,而是去/usr/java/default查找这个在机器上:mkdir /usr/java ln -s /opt/module/jdk1.8.0_144/ /usr/java/default但是却还没.原创 2020-05-21 09:18:46 · 347 阅读 · 0 评论 -
IDEA 本地调试spark程序 Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.
1.很简单的一测试程序:2.run运行时:出现ERROR,报错行显示在 new SparkContext 这行。val sc = new SparkContext(conf)Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lsca...原创 2020-03-11 22:57:32 · 572 阅读 · 0 评论