在开发spark应用程序时报错如图所示,
这个错误困扰我整整两天,但大致知道是dependency的问题。
首先我reimport了pom.xml,仍然报错,将dependency删除后添加再reimport,也是报错,这一步基本排除了pom.xml的问题。
之后,我怀疑是下载到本地的包损坏,我去本地的maven仓库中查看,删除了maven仓库中的所有文件,让maven重新下载,仍然报错,这里排除本地包损坏,可能是下载出了问题。
再然后,我打开了本地的maven仓库,发现相关的包内出现了后缀为.lastupdated的文件,jar包并没有下载成功,我尝试手动去下载对应jar包添加进去,仍然报错。但是报错原因基本锁定,就是下载的问题!
最后我重新配置了maven的setting.xml文件,并且重复前两个步骤,重新加载dependency,再次运行后无报错,问题解决
总之,遇到关于dependency的问题,按照前面的思路步步排除基本能够解决,遇到问题不要怕,根据问题和反馈一步步分析,一定可以解决。