CDH coludera maven 阿里云，华为云 仓库

        大数据生态环境系统，越来越依赖CDH生态。大部分公司都是用CDH来部署大数据生态架构，这种结构是运维的一大福音，但是对于开发确实一个噩梦一样,下载CDH版本的Spark，Hadoop依赖包实在试太慢了了，甚至有可能下载不了。

         直接下载国外原厂镜像，很难下载的下来。阿里云maven私服不包含CDH版本spark，hadoop依赖包，在遍历了众多国内镜像后，发现华为云包含CDH版spark,hadoop镜像。但是华为云镜像只包含CDH6.xx相关的镜像，如果基础环境还是CDH5.xx智能使用华为镜像和原厂镜像交替才实现。

        首先我们先看一看原厂镜像部署方式：

 

<repository>
    <id>cloudera</id>
     <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
<spark.version>2.4.0.cloudera2</spark.version>
<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-core_${scala.main.version}</artifactId>
   <version>${spark.version}</version>
</dependency>
  <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-sql_${scala.main.version}</artifactId>
   <version>${spark.version}</version>
</dependency>

这种方式简单直接，前提是要有足够的耐心，支持依赖包最多。

配置说明见：https://docs.cloudera.com/documentation/spark2/2-4-x/topics/spark2_maven_repo.html

                      https://docs.cloudera.com/documentation/spark2/2-4-x/topics/cds_24_maven_artifacts.html