Maven+scala+spark常见问题总结

本文总结了在使用Maven、Scala和Spark时遇到的常见问题及解决方案,包括设置工程编码格式、处理系统Path警告、管理第三方库、打包依赖到jar以及解决Scala版本冲突和资源文件访问等。
摘要由CSDN通过智能技术生成

去除[WARNING] Using platform encoding (UTF-8 actually) to copy filter

在POM文件的顶级目录中,加入下面的配置。其实就是设置一下工程的编码格式

 <properties>  
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>  
  </properties>  

[maven3 warning] ‘dependencies.dependency.systemPath’ should not point at files within the project directory

systemPath被设计用来讲一些系统库包含进来,它们往往具有固定的路径。当在自己的project中使用这个特性但是指定相对路径如${basedir}/src/lib之类的,就会提示这个。解决方法如下:

  • 如果中央仓库有你需要的包,那最好不过了,直接通过制定dependency来自动下载就好。
  • 然而有时候你使用的一些第三方包,仓库中是没有的,这个时候,可以使用maven-install-plugin
    来将该第三方包安装到本地仓库中即可。步骤如下(这里以spark-liblinear-1.95.jar为例):
    首先查看这个包的层次结构,其实就是为了获取它的groupId, artifactId。然后在工程中的POM文件中加入这个包的依赖:
   <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-install-plugin</artifactId>
        <version>2.5.2</version>
      </plugin>
    </plugins>
  </build>

然后执行下面的命令即可将第三方包安装到本地仓库中(注意,这里的groupId,artifactId要和上面的依赖中所写的一致,另外,-D选项和后面的参数之间不能有空格):

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值