Spark关于在IDEA中使用maven创建scala项目时不能使用makeRDD和parallerize的原因
前几天,一直在学习Spark的计算引擎,但是刚开始学习,很多地方都摸不清方向,网上又找不着相关的解决办法。从今天开始就记录自己学习过程中所有不知名的错误。## 新的改变
由于最近不知道是我重新装了个Linux系统的原因,还是我电脑不稳定,还是我不经意间删除了什么东西,在我使用scala创建RDD的时候IDEA总是会报错,不管是makeRDD或者是parallerize都一样,出现数组越界,这里图片忘记截图了。
但是我折腾了很久,终于解决了。
解决办法如下:
在马maven的pom.xml配置文件中添加依赖:
<groupId>com.thoughtworks.paranamer</groupId>
<artifactId>paranamer</artifactId>
<version>2.8</version>
</dependency>
其实没有别的,就是paranamer的版本太低,需要添加到自己仓库而已。