spark
文章平均质量分 51
板砖的豆沙包
这个作者很懒,什么都没留下…
展开
-
CDH 6.3.2集群运行碰到这个问题 hive execution version == hive metastore version.
Exception in thread "main" java.lang.IllegalArgumentException: Builtin jars can only be used when hive execution version == hive metastore version. Execution: 2.1 != Metastore: 1.2.1. Specify a valid path to the correct hive jars using spark.sql.hive.metas原创 2021-08-20 16:17:00 · 726 阅读 · 0 评论 -
记一次CDH6.3.2 spark 执行出现错误,出现了java.lang.ExceptionInInitializerError: null
在进行saprk renwu 调度时候出现这个问题SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-jdbc-2.1.1-cdh6.3.2-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF原创 2021-07-12 14:13:40 · 1054 阅读 · 0 评论 -
idea本地运行出现找不到了的问题 Exception in thread “main“java.lang.lassNotFoundException Create breakpoint
本地运行scala脚本出现这个问题先放一点设置这里【provided】指编译时期有,但不打参与打包这里是其中一下问题应该是程序运行时候找不到main 文件,在这里设置点击编辑设置这里,然后点击修改选项这个,找到提供这两个选项最后保存就可以运行了...原创 2021-07-10 14:43:39 · 2389 阅读 · 0 评论 -
.xxx is not a valid externa 问题
使用Spark 执行sql 命令 val schemas = StructType( List( // StructField("id",LongTypes, true), StructField("userid", LongTypes, true), StructField("xzqnumber", StringType, true), StructField("xzqname", StringType, tru原创 2021-05-25 19:14:48 · 363 阅读 · 0 评论