Spark
关注
分享
扫一扫
码魁
从珞珈山街道口职业技术学院到四方坪拔草职业技术学院
展开
-
Spark集群中提交jar包运行程序报错：java.lang.NoClassDefFoundError XXXXXXX
问题描述在本地IDEA中写好Spark程序，打成jar包，使用spark-submit命令提交到Spark集群中运行，结果报错：java.lang.NoClassDefFoundError XXXX。问题原因我在网上看了一下，一般导致这个问题有两个原因：Spark依赖的Scala版本和安装的Scala版本不一致（其他软件依赖的Scala版本不一致也会导致整个错误）编写的Spark程序所...原创 2020-04-11 16:20:53 · 1247 阅读 · 0 评论 -
scala安装：java.lang.NumberFormatException: For input For input string: "0x100"
问题描述Linux终端输入scala进入其shell时报错：[ERROR]Failed to construct terminal;falling back to unsupportedjava.lang.NumberFormatException: For input string: "0x100"解决办法打开Scala环境变量配置文件，添加下面这句话export TERM=x...原创 2020-03-19 18:11:05 · 1232 阅读 · 0 评论 -
Spark访问Linux本地文件，计算文件行数报错：org.apache.hadoop.fs.ChecksumException: Checksum error
在通过Spark访问Linux本地文件，计算文件行数的时候报了org.apache.hadoop.fs.ChecksumException: Checksum error 错误，网上看到一篇文章，我暂时看不太明白。大家要解决 Checksum error 这个问题的话把 crc文件给删了就行。（问题解决了，记得点赞哟）...原创 2019-12-31 16:23:58 · 545 阅读 · 0 评论