![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
调试
小小小黄鸡
这个作者很懒,什么都没留下…
展开
-
Spark 任务常见错误以及解决方案
Table or view not found: aaa.bbbThe column number of the existing table dmall_search.query_embedding_data_1(struct<>) doesn’t match the data schema(struct<user_id:string,dt:string,sku_list:array>);Cannot insert into table ddw_ware.purchase_d.原创 2020-09-23 17:50:55 · 15143 阅读 · 0 评论 -
使用IDEA 搭建 spark on yarn 的开发环境+调试~
1.导入yarn和hdfs配置文件因为spark on yarn 是依赖于yarn和hdfs的,所以获取yarn和hdfs配置文件是首要条件,将core-site.xml、hdfs-site.xml 、yarn-site.xml 这三个文本考入到你IDEA项目里面的resource目录下,如下图所示:...原创 2018-05-25 16:12:35 · 9731 阅读 · 22 评论 -
java.lang.NoClassDefFoundError: Could not initialize class scala.tools.fusesource_embedded.jansi.int
我自己在windows下编译了一遍spark,成功了,全部都success了,美滋滋,然后我想在windows下启动下spark-shell: 结果,嗯?出错了?To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).[ERROR] Terminal init...原创 2018-05-29 15:12:17 · 4116 阅读 · 0 评论