1. 去除不必要的操作
mvn install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true
2. 用install替代package
install
会把Flink中的module安装到本地仓库,这样依赖当前module的其他组件就无需去远程仓库拉取当前module,节省了时间。
3. 指定hadoop版本和flink.shaded版本
mvn install -Dhadoop.version=3.0.0-cdh6.1.1 -Dflink.shaded.version=10.0
4. 失败继续
遇到某个module编译出问题,修复问题后可以通过-rf
从反应堆中出问题的module继续编译,但是切记不要再使用clean命令,因为clean会把你之前编译的字节码删光。
mvn install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true -Dhadoop.version=3.0.0-cdh6.1.1 -Dflink.shaded.version=10.0 -rf :<moduleName>
反应堆:根据module的依赖关系,自动生成的一个需要编译的module的顺序列表,如下:
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] flink-hadoop-fs [jar]
[INFO] flink-runtime [jar]
[INFO] flink-scala [jar]
[INFO] flink-mapr-fs [jar]
[INFO] flink-filesystems :: flink-fs-hadoop-shaded [jar]
[INFO] flink-s3-fs-base [jar]
...
5. 正确使用mirror和repository
mirror相当于一个代理,转发访问repository的请求。但有以下注意事项
- 即使mirror正向代理的镜像仓库有问题,也不会尝试去被代理仓库获取依赖
- 阿里maven镜像仓库中没有hortonworks和cloudrea相关内容
最后,附上我的setting.xml
内容:
<?xml version="1.0"?>
<settings>
<localRepository>/Users/djg/env/apache-maven-3.5.4/repository</localRepository>
<servers>
</servers>
<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
<mirror>
<id>mapr-public</id>
<mirrorOf>mapr-releases</mirrorOf>
<name>mapr-releases</name>
<url>https://maven.aliyun.com/repository/mapr-public</url>
</mirror>
</mirrors>
<profiles>
<profile>
<id>dtwave</id>
<repositories>
<repository>
<id>Hortonworks</id>
<name>Hortonworks</name>
<url>http://repo.hortonworks.com/content/repositories/releases/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
<repository>
<id>Cloudera</id>
<name>Cloudera</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
<repository>
<id>Confluent</id>
<name>Confluent</name>
<url>http://packages.confluent.io/maven/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
</profile>
</profiles>
<activeProfiles>
<activeProfile>dtwave</activeProfile>
</activeProfiles>
</settings>