SPARK编译的一些记录

最新推荐文章于 2023-06-05 09:46:18 发布
最新推荐文章于 2023-06-05 09:46:18 发布
阅读量394 收藏
点赞数
分类专栏： bigdata 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/terrorblade1235/article/details/78322373
版权
本文记录了在编译Spark遇到的问题及解决方案，包括'Unsupported major.minor version 52.0'错误，Linux逻辑卷重新分区以及'insert overwrite directory'权限问题。通过调整JDK版本，修改CM配置，以及解决权限问题，成功运行Spark。
摘要由CSDN通过智能技术生成

SPARK编译的一些记录

标签（空格分隔）： spark

由于发行版的spark-sql不支持一些比如‘insert overwrite directory’的特性，而在开发中确实需要使用到这些特性，之前的选择是使用livy来避开了这一特性，最近看到spark已经merge了这个特性的PR，于是尝试着编译，使用新的spark。

Spark编译

  • 参考这篇文章 慕课网_Michael__PK
  • 选择了使用spark的/dev/make-distribution.sh脚本进行编译，依赖的环境有JDK1.8,maven。我本地的maven版本是3.0.5,最好还是使用更新些的版本，直接执行 
./dev/make-distribution.sh --name custom-spark --tgz  -Phadoop-2.6 -Phive
最低0.47元/天 解锁文章
terrorblade1235
关注
专栏目录
如何编译Spark
mm_ren的博客
08-21 149
1.安装环境软件准备spark-2.4.4.tgz源码 jdk-8u144-linux-x64.tar.gzJDK1.8以上 apache-maven-3.3.9-bin.tar...
Spark源码包（编译完成）
07-18
Spark1.6.1源码包，maven工程导入
Spark的编译
weixin_30716141的博客
06-11 103
　　由于Spark的运行环境的多样性，如可以运行在hadoop的yarn上，这样就必须要对Spark的源码进行编译。下面介绍一下Spark源码编译的详细步骤： 1、Spark的编译方式：编译的方式可以参考官网：https://spark.apache.org/docs/latest/building-spark.html 　　Spark的源码编译有三种方式： 　　（1）SBT（简单...
编译Spark
chroje的博客
05-22 349
Spark发展至今已经相当成熟了，编译起来也相当方便。SBT编译由于国内网络问题不能连接Maven中央仓库，想用SBT编译的同学可以改userhome目录下的repository文件连接Oschina和aliyun仓库，这两个仓库我都试过结果还是没连上，所以改为使用maven编译。环境为Win10版本为2.3.0准备环境：Maven、Git配置Git/bin目录Maven/bin和到Path路径首...
Spark编译
BENULL的博客
04-18 1502
前提 在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8 更多关于编译Spark2.2.0参见Spark编译官方文档 环境要求 The Maven-based build is the build of reference for Apache Spark. Building Spark using Ma...
Spark 源码编译完整教程（maven编译+sbt编译+编译工具包+操作步骤笔记+依赖包下载镜像设置）
03-08
自己学习并应用Spark一段时间后，由于需要改源代码，就研究了下怎么编译源码，成功编译后，记录下了编译的步骤和遇到的问题，例如编译过程中，下载大量的依赖包，默认从国外下载，非常慢，可能要编译好几个小时，...
java8源码-Spark-Nodes:记录个人spark知识
06-04
搭建Spark源码本地研读环境 系统环境： java：java8 scala:2.11(后改为2.12.11) maven:3.3.9 系统：win10 1、forke、clone代码 遇到问题 a.clone很慢，会断掉 解决：1）设置缓冲git config --global http.postBuffer...
编译spark2.4.2-bin-2.6.0-cdh5.7.6
weixin_37761111的博客
06-16 235
记录自己编译spark的过程 一、环境 1.hadoop环境为：Hadoop 2.6.0-cdh5.7.6 2.Scala环境为：Scala code runner version 2.11.12 3.jdk环境为：1.8 4.maven环境为：Apache Maven 3.6.1 5.spark版本为：spark-2.4.2.tgz 二、配置maven 在maven的conf目录下的setti...
【spark2.4.4源码编译】windows环境编译spark2.4.4
01-20
windows环境编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记 环境要求 操作系统环境：Windows 10（Windows7、Windows8亦可） Java版本： jdk1.8 Scala版本：2.11.0 Maven版本：3.5.4 Git版本：版本无要求 以上相关组件的版本是根据spark2.4.4源码的pom文件里的组件版本进行梳理的： 1.8 3.5.4 2.11.12 根据这组配置，本人已经成功编译数遍。 环境安装 1、Git Bash 首先说明，为什么要装Git Bash这个东西，这个主要是为了方便我们能在windows环境下执行linux环
spark 1.1.0 编译使用 & 爬坑记录
Amber_amber的专栏
03-02 6147
虽然1.2.1版本也已经出来了，估计还是有很多人在用1.1.0或者1.0.0 版本。所以把编译和使用1.1.0版本时遇到的一些问题和解决思路写在这里，供参考。 因为我们对cdh版本的hadoop做了一些生产环境相关的修改，所以每次升级spark都需要基于源码自己进行编译。编译方法很简单，而且我在这篇文章 http://blog.csdn.net/amber_amber/article/detai
spark编译
weixin_30920513的博客
05-03 232
你好如果你搜到这篇文章，说明你正在经历spark编译的各种坑，我当时是编译了4天，还没有成功，心态崩了，后来还是在小伙伴的帮助下才成功的。 以下的内容希望能助你成功 环境准备 这个过程不是让你瞪着眼睛看要动手检查 echo $JAVA_HOME echo $SCALA_HOME echo $MAVEN_HOME echo $HAD...
Spark源码编译
梦想天空
10-10 308
目录 一、环境配置 1. maven配置 2. spark配置 3. Scala安装 二、编译安装及测试 1. 编译 2. 本地模式测试 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架。 由于Hadoop的版本是2.5，官网不提供编译版本供下载，本实例将...
Spark源码编译教程
GulfMoon
08-16 2899
一、背景 从Spark官网https://spark.apache.org/ 下载的预编译版本的Spark，受到诸多限制： 1. 比如我们生产环境使用的Hadoop是CDH版本，那么从官网下载的预编译版本就不能使用； 2. 为了兼容Spark新特性，生产环境只升级了HDFS组件，那么预编译版本也不能使用； 因此，为了更好的兼容生产环境中大数据生态组件，我们必须学会如何编译Spark源码。 ...
编译spark2.1.0
菜鸟零号 kungfu~peng
08-29 586
编译spark2.1.0 目标 得到spark-2.1.0-bin-2.6.0-cdh5.7.0 环境 jdk 1.8.0_65【1.7+】 maven Apache Maven 3.3.9【3.3.9版】 spark 2.1.0 下载地址【http://spark.apache.org/downloads.html】 选项选择 settings.x...
Spark源码编译与部署
最新发布
RainTicking的博客
06-05 421
Spark源码编译与部署
Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
yyy
09-09 732
1、编译Spark Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SB
Spark生态与技术概览
该资源是一系列关于Spark及其生态圈的PDF文档集合，涵盖了Spark的简介、编译与部署、编程模型、运行架构，以及Spark在Hive、SQL、Streaming、MLlib、GraphX等方面的应用和相关组件的介绍。此外，还包括了分布式内存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值