用Maven构建Spark

最新推荐文章于 2024-05-09 22:26:05 发布
最新推荐文章于 2024-05-09 22:26:05 发布
阅读量1.5k 收藏
点赞数
分类专栏： Scala Spark Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/john_f_lau/article/details/38024945
版权
Hadoop 同时被 3 个专栏收录
30 篇文章 0 订阅
订阅专栏
Scala
8 篇文章 0 订阅
订阅专栏
Spark
8 篇文章 0 订阅
订阅专栏

设置maven JVM参数：

export MAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"


指定Hadoop，构建Spark工程。

# ApacheHadoop 2.0.5-alpha
mvn -Pyarn-alpha-Dhadoop.version=2.0.5-alpha-DskipTests clean package
 
#Cloudera CDH 4.2.0
mvn -Pyarn-alpha-Dhadoop.version=2.0.0-cdh4.2.0-DskipTests clean package
 
#Apache Hadoop 0.23.x
mvn -Pyarn-alpha-Phadoop-0.23 -Dhadoop.version=0.23.7-DskipTests clean package
 
#Apache Hadoop 2.2.X
mvn -Pyarn -Phadoop-2.2-Dhadoop.version=2.2.0-DskipTests clean package
 
#Apache Hadoop 2.3.X
mvn -Pyarn -Phadoop-2.3-Dhadoop.version=2.3.0-DskipTests clean package
 
#Apache Hadoop 2.4.X
mvn -Pyarn -Phadoop-2.4-Dhadoop.version=2.4.0-DskipTests clean package
 
#Different versions of HDFS and YARN.
mvn -Pyarn-alpha-Phadoop-2.3 -Dhadoop.version=2.3.0-Dyarn.version=0.23.7-DskipTests clean package


测试:

mvn -Dhadoop.version=... -DwildcardSuites=org.apache.spark.repl.ReplSuitetests





欢迎关注我的微信公众号

钛合金编程
关注
专栏目录
《Spark 2》--Maven搭建Spark应用程序、创建RDD时分区个数（部分源码解析）、RDD的说明、RDD分区的首选位置、依赖关系
yk_3215123的博客
08-04 315
1.构建独立应用，采用Maven搭建Spark应用程序： a. 1.新建spark的project项目构建maven项目 2.本地仓库seting修改 右边compile (每次创建 项目本地仓库都需要修改) 3.File -->Project Structure..选择+ -->lib 选scala -->Dep...
基于maven创建spark工程、调试并运行
qq_23617681的博客
05-12 2184
建立spark工程有两种方式：java工程、maven工程。 由于maven管理jar包很方便，本篇基于maven构建spark工程。 spark支持四种语言：scala、java、python、R。 其中scala是基于java的语言，必须有JDK支持。 同时也是spark源码语言，官方API文档对scala的支持是最好的。 如果能选择scala语言作为spark程序的开发，是
Maven IDEA环境搭建（MapReducer、Spark）
最新发布
2402_84895402的博客
05-09 2465
（maven默认的服务器在在国外，后续idea配置maven时，下载会非常慢，需要把服务改到国内的阿里云maven仓库）1、进入idea后先不要创建项目，如果创建项目后先退出项目（这样配置的就是全局设置）1）、下载scala插件（进入插件市场输入scala搜索下载，等待下载完成即可）5、jar包下载完成后进行程序测试（写一个简单的wordcount程序）下载完成后对maven进行解压（idea不需要配置maven环境变量）4、修改maven目录（设置为自己的maven解压目录）下载完成后重启idea。
spark开发环境搭建（基于idea 和maven）
热门推荐
哎幽的成长
11-22 6万+
使用idea构建maven 管理的spark项目 ，默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你的”Hello World!” 导入spark依赖 编写sprak代码 打包在spark上运行 1.sc
Intellij IDEA使用Maven构建spark开发环境
徐先森的博客
05-12 4667
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。
基于maven搭建spark工程
an13654067079的博客
07-29 588
基于maven搭建spark工程
在idea中构建spark的maven项目
Sandra之解惑历程
12-05 351
也不知道标题这样说是否有毛病,等功力长进了再来定夺吧.闲来无事,整理一下如何从零开始构建spark项目的maven依赖.首先一个破解版的idea是必须的.这里附上一个Mac版本的安装地址,留着下次自己试试效果.https://blog.csdn.net/qq_17213067/article/details/81449797 构建可以本地测试的spark代码(也就是local模式),使用mave...
走进Spark生态圈：使用Maven构建Spark开发环境
TechQ
11-30 2609
Maven是什么?Maven是一个项目管理和综合工具. Maven提供了开发人员构建一个完整的生命周期框架. 开发团队可以自动完成项目的基础工具建设, Maven使用标准的目录结构和默认构建生命周期. 使用Maven的好处 1.Maven不仅是构建工具, 它还是依赖管理工具和项目管理工具, 提供了中央仓库, 能够帮我们自动下载构件 2.为了解决的依赖的增多, 版本不一致, 版
spark大数据分析与实战：idea使用maven构建spark项目
06-28
使用Maven构建Spark项目是一种常见的方式，可以方便地管理依赖包和构建过程。通过使用Maven作为构建工具，可以快速地创建Spark应用程序，并进行大数据分析和实战应用。在这个过程中，需要配置好Spark相关的依赖和...
maven构建spark项目
05-05
如果你想使用 Maven 来构建 Spark 项目，可以按照以下步骤进行操作： 1. 创建一个 Maven 项目，可以使用 IDE 工具如 IntelliJ IDEA 或 Eclipse 来创建。 2. 在 pom.xml 文件中添加 Spark 依赖，如下所示： ```xml ...
在IDEA中利用Maven创建Spark项目
小小良
06-08 2509
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
Maven方式建立Spark项目
丰brother的博客
05-06 1795
建立maven项目 porn.xml <?xml version="1.0" encoding="UTF-8"?> <project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns:xsi="http://www....
idea构建spark开发环境（基于maven）
webpetter的博客
08-28 7659
目前Intellij IDEA对scala支持的比较好，本文使用idea构建spark开发环境。 1.准备工作 jdk版本，scala sdk环境(我的是jdk1.8，scala 2.1) scala官网下载地址：http://www.scala-lang.org/download/  2.Intellij IDEA  下载地址https://www.jetbrains.com/idea/...
Spark之初体验：maven如何新建一个spark项目
ibelieve8013的博客
05-20 7528
Spark之初体验：maven如何新建一个spark项目 基于maven如何新建一个spark项目？ 会让你选择Java的版本，这里只要是1.8以上的就OK 然后下一步： 这里的groupid就是项目所属的哪个组下面，artifactid是指详细的哪个文件，这里要好好写，因为后面pom配置还有这两项。 输入project name和位置： 新建了文件之后，看到相关的文件目录...
spark基础(三)------------------------使用maven构建一个基于scala的spark应用程序。
happyAnger6的专栏
06-14 1万+
这一章讲解一下如何使用maven构建我们的spark应用程序。 首先，安装maven,在centos7上使用yum install maven直接安装。 然后按照maven的约定，建立如下目录: ./spark-demo ./spark-demo/src ./spark-demo/src/main ./spark-demo/src/main/scala ./spark
基于maven搭建spark开发环境
qq_27130997的博客
01-04 1527
1 背景 需要开发spark 项目，开发语言为java 2 步骤 2.1 创建工程 创建maven工程,这个不在这篇文档论述 2.2 引入pom <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.tar...
【Spark学习】用maven构建spark项目
xiexianyou666的博客
04-25 3108
小白必看，用maven构建spark项目 首先，我们需要下载maven maven下载地址 1.解压安装即可 2.进入conf目录，修改配置文件settings.xml文件，配置阿里云镜像 -<mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <nam...
maven 将依赖打入jar包
师弟time
02-21 548
<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archiv
IDEA中使用Maven开发Spark应用程序
04-27 3559
1 环境搭建 1.1 使用maven创建spark项目 如上图所示点击next创建自己的spark项目； 对maven进行修改 1.2 修改pom.xml &amp;lt;!--依赖的版本--&amp;gt; &amp;lt;properties&amp;gt; &amp;lt;scala.version&amp;gt;2.11.8&amp;lt;/scala.versio
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值