spark2.4.2源码编译集成hadoop-2.6.0-cdh5.15.1

1.准备工作

1.1 组件及源码下载

组件名称	组件版本
centos	centos6.4
jdk	jdk-8u80-linux-x64.tar.gz
maven	apache-maven-3.6.1-bin.tar.gz
scala	scala-2.11.6.tgz
hadoop	Hadoop-2.6.0-cdh5.15.1-src.tar.gz

⚠️ 版本要求：JDK1.8+，maven3.5.4+，scala 2.11.+

1.2 环境搭建同：hadoop-2.6.0-cdh5.15.1源码编译

2.编译Spark

本次编译的spark版本是2.4.2，可以去官网下载对应版本的源码包

2.1.上传源码包并解压

[root@hadoop001 ~]# tar -zxvf /home/hadoop/soft/spark-2.4.2.tar.gz -C /home/hadoop/source/  

2.2.修改配置文件