spark maven编译

最新推荐文章于 2019-05-26 08:58:26 发布
最新推荐文章于 2019-05-26 08:58:26 发布
阅读量428 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hengHuo123456/article/details/49072751
版权

1.从官方网站下载http://mirrors.cnnic.cn/apache/spark/spark-1.5.1/spark-1.5.1.tgz下载下来

2.tar -xzvf spark-1.5.1.tgz解压

3.安装maven

4.设置maven配置参数：  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 

5.执行编译命令：mvn -Pyarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTests clean package

hengHuo123456
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark源码编译（maven）
记忆力不好的博客
05-16 1698
从Spark官网上下载编译好的安装包，并不一定能够满足需要，有时候希望通过阅读和调试Spark源码来深入理解其内部机制，这时候需要自己去手动编译Spark。 Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具准备：JDK，maven(或sbt)1. 源码下载：
spark编译教程—maven
细雨梧桐的专栏
06-15 6760
spark编译教程—maven编译环境准备  几种常见的编译方式  编译问题总结  常见编译参数
maven编译Spark源码
Yashon
11-24 4876
环境说明： Spark 1.5.2，Maven 3.3.3或以上版本，Java7或以上版本。 一、设置Maven内存使用： 您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下： export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M" 您不做如上设置，很可能
使用Maven编译Spark源码
Gamedev
02-10 337
参考下面这篇博客，可以学到很多关于maven源码编译相关的知识。 例如，将阿里云的资源库设为maven资源下载的目标地址等等 使用Maven编译Spark源码 http://blog.csdn.net/lc_1123/article/details/78628989 编译错误 解决方案参考 [1] Problems while compiling Spark with mav...
spark经过maven编译后的spark-assembly包
01-02
cdh环境中的spark不支持sparksql,现必须用到sparksql编译spark源码获取spark-assembly包替换即可完成
Spark 源码编译完整教程（maven编译+sbt编译+编译工具包+操作步骤笔记+依赖包下载镜像设置）
03-08
自己学习并应用Spark一段时间后，由于需要改源代码，就研究了下怎么编译源码，成功编译后，记录下了编译的步骤和遇到的问题，例如编译过程中，下载大量的依赖包，默认从国外下载，非常慢，可能要编译好几个小时，...
Spark_compile:通过maven编译之后的Spark原始码-源码通
03-24
它还支持丰富的高级工具集，包括用于SQL和DataFrames的Spark SQL，用于机器学习的MLlib，用于图形处理的GraphX和用于流处理的Spark Streaming。 在线文件 您可以在和上找到最新的Spark文档，包括编程指南。 此自述...
Spark-Scala-Maven-示例：Spark，Scala项目的示例Maven配置
02-03
在构建和管理基于Spark、Scala的项目时，Maven是一个非常重要的工具，它提供了一种标准化的方式来管理和构建软件项目。本示例项目“Spark-Scala-Maven-Example”旨在展示如何配置Maven来构建和运行一个结合了Spark与...
spark编译部署和sparkbench编译
08-20
Spark 编译部署和 SparkBench 编译 Spark 编译部署和 SparkBench 编译是 Spark 单节点部署的超详细步骤，以及 SparkBench 编译的...SparkBench 编译需要安装好 Maven 和 Scala，编译步骤与上述 Spark 编译步骤相似。
Spark大师之路：使用maven编译Spark
doggggggggggggggggggggggggggggggggggggie的专栏
04-10 9217
系统环境： maven版本
用maven编译spark2.1.0
weixin_30814329的博客
03-22 116
以下编译都是在root用户下执行的命令 1.安装Maven 3.3.9和Java 7+ ,这里是官方文档中要求的maven和jdk版本，其他版本未测; 2.执行 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 3.切换到spark2.1.0解压后的源码根目录下./build/mvn -Pyarn -Phadoop-2.7...
maven 对spark 源码进行编译（基于Centos 7 ）
野狼e族 的博客
05-28 1144
maven 对spark 源码进行编译（基于Centos 7 ）1 、写在前面的话    有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示:    Spark官网的确是提供了一些Hadoop版本的Spark安装包，但是提供的这些是否能...
通过Maven编译Spark源代码，并生成Spark部署包
晓风岚月
05-26 996
软件版本： JDK：1.8.0_131 Hadoop：2.7.2 Scala：2.11.12 Spark：2.4.3 一、下载Spark源代码 https://archive.apache.org/dist/spark/spark-2.4.3/ 将下载好的源代码包上传到Linux目录下，并在节点上解压缩 二、使用Maven编译Spark 1.下载Maven安装包 http:...
maven编译spark2.3.2源码
qq_34382453的博客
11-07 1070
软件版本 spark 2.3.2 scala 2.11.8 jdk 1.8+ maven 3.3.9 hadoop-2.6.0-cdh5.7.0 编译步骤： 1、先安装配置jdk，scala，maven（略） 2、到spark官网下载源码，我这里是用的spark-2.3.2版本。注意我们是下载源码，选择Source Code。然后点击spark-2.3.2.tgz下载。然后将包传到linu...
Linux 下 maven 编译 spark 源码
YuZongTao
06-19 1427
1. 安装maven 1）将安装包解压到指定目录：[root@master apache-maven-3.5.3]# tar -zxf /opt/maven/apache-maven-3.5.3-bin.tar.gz -C /usr/local/ 2）配置maven环境变量，并测试maven是否安装成功[root@master apache-maven-3.5.3]# vi /etc/profi...
maven编译spark 源码
奋斗吧_-小青年
05-12 2347
基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.3.9或更高版本和Java 7。请注意，对于Java 7的支持已从Spark 2.0.0中弃用，可能会在Spark 2.2.0中删除。 设置Maven内存使用： 您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下： export MAVEN_OPTS=
maven 编译Spark 时 的 问题及解决
xuetaoxuetao的博客
01-10 774
出现 Please verify you invoked Maven from the correct directory. -> [Help 1] 可能解决办法： 到有pom.xml文件的目录下执行命令
Maven编译Spark源码总结
易者悠也
03-06 1988
1 通过Git下载Spark源码git clone https://github.com/apache/spark.git2 切换Spark源码分支git branch -a git checkout v1.6.3（或者直接下载对应分支的Spark源代码），确保要有make-distribution.sh文件3 修改 make-distribution.sh 文件MVN="/home/hjr/Mav
spark maven
最新发布
09-16
Spark Maven Java是一个用于执行Spark作业的项目。要运行Spark作业，您可以使用以下命令替换命令中的属性：./bin/spark-submit --class org.spark.workingsample.WordCountSpark --properties-file {config file ....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值