B02 - 059、搭建Spark编译环境

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、搭建Spark编译环境

    1.1  解压源码包。
    1.2  更改make-distribution.sh等配置，提高编译检索效率。
    1.3  上传并安装Scala2.11.12与Git。
    1.4  编译前快照。

---

记忆词：

  ...

---

 B02 - 999、部署大数据环境及部分编译

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、搭建Spark编译环境

  1.1 ~  解压源码包。

  1.2 ~  更改make-distribution.sh等配置，提高编译检索效率。

推荐使用NppFTP或EditPlus FTP。

  

# 重命名是防止被默认删除！
mv spark-2.4.2.tgz spark-2.4.2_source.tgz
tar -zxvf spark-2.4.2_source.tgz -C ../servers/

cd /export/servers/
mv spark-2.4.2/ spark-2.4.2_source

cd /export/servers/spark-2.4.2_source
vim ./dev/make-distribution.sh

# 为了让编译的时候跳过检测
VERSION=2.4.2         # spark 版本
SCALA_VERSION=2.11    # scala版本
SPARK_HADOOP_VERSION=2.6.0-cdh5.14.0   #对应的hadoop版本 
SPARK_HIVE=1          # 支持的hive

  1.3 ~  上传并安装Scala2.11.12与Git。

其实装不装都无所谓，这里安装只是起到心里暗示作用。

cd /export/servers/scala-2.11.8

vim /etc/profile

export SCALA_HOME=/export/servers/scala-2.11.8
export PATH=:$SCALA_HOME/bin:$PATH

source /etc/profile
scala -version

yum -y install git  # 已安装就略过

  1.4 ~  编译前快照。

V1_Spark2.4.2_Compile1

稻花香里说丰年。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，搭建Spark编译环境完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

出现最早、数量最大的软件开发工具是（　　　）

…
A、设计工具
B、分析工具
C、计划工具
D、集成化工具
…
A

稻花香里说丰年。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

稻花香里说丰年。