Spark工程的pom文件示例

最新推荐文章于 2024-04-11 16:08:59 发布
最新推荐文章于 2024-04-11 16:08:59 发布
阅读量765 收藏
点赞数
文章标签： 大数据 java 开发工具
原文链接：https://my.oschina.net/u/778683/blog/1828761
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>xxx.xx</groupId>
    <artifactId>xxx</artifactId>
    <version>1.0.0</version>
    <packaging>jar</packaging>

    <name>xx</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        

        <scala.version>2.11.8</scala.version>             
        <spark.version>2.2.0</spark.version> 
        <spark.artifactId.version>2.11</spark.artifactId.version>

        <elasticsearch.version>2.3.5</elasticsearch.version>
        <guava.version>18.0</guava.version>
        <hbase.version>0.98.8-hadoop2</hbase.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>

           
        <!-- <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>${elasticsearch.version}</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.plugin</groupId>
            <artifactId>shield</artifactId>
            <version>${elasticsearch.version}</version>
        </dependency> -->
        
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>${guava.version}</version>
        </dependency>
        

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${spark.artifactId.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${spark.artifactId.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
     
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${spark.artifactId.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        
         <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
        
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${spark.artifactId.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
            <!--scope>compile</scope -->
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>${scala.version}</version>
            <!--scope>compile</scope -->
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.29</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.6.2</version>
        </dependency>

        <!-- change ES source code package path to other to avoid conflict with 
            spark yarn cluster's, such as guava-14.0.1 in spark-1.5.2 cluster and guava-18 
            in ES-2.3.5 -->
                
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-spark-20_${spark.artifactId.version}</artifactId>
            <version>6.2.0</version>
            <scope>compile</scope>        
            <exclusions>
                <exclusion>
                    <artifactId>log4j-over-slf4j</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>            
         </dependency>
         
         
          <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.2</version>
            <exclusions>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>
            </exclusions>    
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.2</version>
        </dependency>
        
       <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>2.6.2</version>
            <exclusions>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>

                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>

                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>

            </exclusions>
        </dependency>
        
         <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
            <!-- 与SNF-LOG冲突，需要排除该组件 -->
            <exclusions>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>    
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>${hbase.version}</version>
            <!-- 其他log冲突，需要排除该组件 -->
            <exclusions>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-hadoop2-compat</artifactId>
            <version>${hbase.version}</version>
            <!-- 其他log冲突，需要排除该组件 -->
            <exclusions>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-protocol</artifactId>
            <version>${hbase.version}</version>
            <!-- 其他log冲突，需要排除该组件 -->
            <exclusions>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>0.98.8-hadoop2</version>
            <exclusions>
                <exclusion>
                    <artifactId>hadoop-yarn-common</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-yarn-client</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-yarn-server-common</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-shell</artifactId>
            <version>0.98.8-hadoop2</version>
        </dependency>
        

    </dependencies>

    <build>
     
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.2</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <shadedArtifactAttached>true</shadedArtifactAttached>
                            <shadedClassifierName>shade-${profiles.active}</shadedClassifierName>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers><transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> 
                                    <mainClass>com.hunantv.bigdata.mls.main.Main</mainClass> </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/spring.handlers</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/spring.schemas</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/services/org.apache.lucene.codecs.Codec</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/services/org.apache.lucene.codecs.DocValuesFormat</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/services/org.apache.lucene.codecs.PostingsFormat</resource>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>
             <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-failsafe-plugin</artifactId>
            </plugin>
            <!-- <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
            </plugin> -->
              
        </plugins>
    
        <resources>
            <resource>
                 <directory>${basedir}/src/main/resources</directory>
                <filtering>true</filtering>
            </resource>
        </resources>
        <pluginManagement>
            <plugins>
                <!--This plugin's configuration is used to store Eclipse m2e settings only. It has no influence on the Maven build itself.-->
                <plugin>
                    <groupId>org.eclipse.m2e</groupId>
                    <artifactId>lifecycle-mapping</artifactId>
                    <version>1.0.0</version>
                    <configuration>
                        <lifecycleMappingMetadata>
                            <pluginExecutions>
                                <pluginExecution>
                                    <pluginExecutionFilter>
                                        <groupId>
                                            org.scala-tools
                                        </groupId>
                                        <artifactId>
                                            maven-scala-plugin
                                        </artifactId>
                                        <versionRange>
                                            [2.15.2,)
                                        </versionRange>
                                        <goals>
                                            <goal>compile</goal>
                                        </goals>
                                    </pluginExecutionFilter>
                                    <action>
                                        <ignore></ignore>
                                    </action>
                                </pluginExecution>
                            </pluginExecutions>
                        </lifecycleMappingMetadata>
                    </configuration>
                </plugin>
            </plugins>
        </pluginManagement>
        
        
    </build>

    <!-- clean package assembly:assembly -Pprod -->
    <profiles>
        <profile>
            <id>dev</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <build>
                <filters>
                    <filter>vars/vars.dev.properties</filter>
                </filters>
            </build>
        </profile>
        <profile>
            <id>sit</id>
            <build>
                <filters>
                    <filter>vars/vars.sit.properties</filter>
                </filters>
            </build>
        </profile>
        <profile>
            <id>pre</id>
            <build>
                <filters>
                    <filter>vars/vars.pre.properties</filter>
                </filters>
            </build>
        </profile>
        <profile>
            <id>prod</id>
            <build>
                <filters>
                    <filter>/vars/vars.prod.properties</filter>
                </filters>
            </build>
        </profile>
    </profiles>
    
    
    
</project>

 

转载于:https://my.oschina.net/u/778683/blog/1828761

weixin_34365417
关注
sparkstreaming-kafka开发的pom文件
07-06
2.10.5 1.6.2 2.4.3 1.2.0 的pom文件
大数据学习之Spark——00Spark项目的pom.xml文件
bingque6535的博客
07-21 394
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"&g
spark常用的pom文件
w201615060094的博客
03-07 2798
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m...
spark的pom.xml
youmianzhou的博客
11-15 754
一个spark任务提交前需要用idea打包代码，pom.xml设置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> &lt
spark与scala兼容的pom.xml文件
09-29
在IDEA搭建spark集群，遇到与scala冲突，我提供一个比较完整的pom.xml的文件，供大家分享。
spark-example:使用 Spark Web 框架的示例
06-14
- `pom.xml`: Maven的项目对象模型文件，定义了项目的依赖和构建过程。 通过阅读和运行这个示例项目，你将能深入理解Spark框架如何处理HTTP请求，如何组织业务逻辑，以及如何与其他Java库集成。这将为你的Java Web...
Spark-Scala-Maven-示例：Spark，Scala项目的示例Maven配置
02-03
在Spark-Scala项目中，Maven的`pom.xml`文件是核心，它定义了项目属性、依赖关系、构建生命周期和插件等信息。 在`pom.xml`中，你需要包含以下关键部分： 1. **项目信息**：包括groupId、artifactId和version，这...
Spark实现K-Means算法代码示例
01-20
K-Means算法是一种基于距离的聚类算法，采用迭代的方法，计算出K个聚类中心，...用Spark实现K-Means算法，首先修改pom文件，引入机器学习MLlib包： <groupId>org.apache.spark <artifactId>spark-mllib_2.10</
Springboot 结合Apache Spark 2.4.4与Scala 2.12 集成示例
09-02
在Spring Boot的`pom.xml`文件中，我们需要引入Spring Boot的相关依赖（如Spring Web）以及Apache Spark和Scala的库。Spark的依赖通常包括核心、SQL、Hadoop兼容性等模块，确保选择与Spark版本和Scala版本相匹配的...
spark-java-sample:使用Spark Java的示例项目
05-19
**Spark Java 示例项目详解** Spark Java 是一个轻量级的Web框架，专为简化Java Web应用开发而设计。它提供了一种简洁、直观的API，让开发者能够快速地构建RESTful服务。本项目是一个名为"spark-java-sample"的示例...
IDEA 搭建spark环境配置文件pom.xml
08-01
IDEA 搭建Spark环境时所需的依赖包配置，可以导入spark基本操作依赖包、机器学习依赖包等等。
IDEA 打包 Spark 项目 POM 文件依赖
最新发布
JIE的博客 --- moon_coder
04-11 991
表示依赖项在编译和测试时可用，但在运行时由目标环境（例如应用服务器）提供。这通常用于将依赖项排除在最终的打包文件之外，因为目标环境已经包含了这些依赖项。元素用于指定依赖的作用范围，告诉 Maven 在构建项目时如何处理依赖项。，表示依赖项在编译、测试和运行时都可用。集群拥有相关执行依赖，则可以使用轻量级的包，否则就需要使用具有依赖的包。：表示依赖项在运行时可用，但不会在编译时和测试时包含在。这通常用于在运行时需要但在编译时不需要的依赖项。：表示依赖项只在测试时可用，不会包含在编译和运行时的。
spark-ml的pom文件
weixin_39031707的博客
08-26 528
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
【spark】创建一个基于maven的spark项目所需要的pom.xml文件模板
baibaiw5的博客
02-17 5436
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> 4.0.0 com.xxxx test jar testit 1.0.0 nexus OS China http://maven.oschina.net/conte
Spark的pom文件配置
猪猪
03-07 2478
Spark的pom文件配置如下（复制粘贴即可）： <!--声明共有的属性--> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.t...
Spark的pom依赖
lukabruce的博客
08-01 9336
&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/mave...
【Spark开发必备技能】5-1-Maven项目管理-pom.xml配置项详解
Spark技术咖的博客
07-18 755
目录 1、项目坐标和信息描述 2、引入依赖的JAR包     2.1、剔除想要排除的JAR包 3、构建项目 4、资源库 一个基本项目的pom.xml文件，通常至少包含以下4个部分： 1、项目坐标和信息描述     项目坐标：         指的是项目在maven资源库的坐标，通过 groupId + artifactId + version 进行表示。         grou...
spark pom.xml配置
王坤华的博客
02-11 1845
IDEA软件scala版本2.12.11 pml.xml <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.12.4</version> </dependency> <dependency&
人工智能初学--spark机器学习
linzihahaha的博客
11-13 894
what is spark？ spark是一种对大规模数据集进行处理的快速而公用的计算引擎。   spark据用四大特性，高效，简单易用，通用性，以及可以运行在任何地方。   spark提供了核心抽象，即RDD，RDD是一种集群节点数据的集合，提供了并行操作的API   what is SparkMlib?   Mlib基于Spark的一种机器学习库，目标是提供一个简单易用，扩展...
spark2.1的pom依赖
09-12
以下是 Spark 2.1 的 pom.xml 文件中的依赖项： ``` <groupId>org.scala-lang <artifactId>scala-library <version>2.11.8 <scope>provided <groupId>org.apache.spark <artifactId>spark-core_2.11 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值