Linux安装、运行单机版Spark
1 依赖 java jdk
2.安装spark
2.1 下载完成后使用工具上传到Linux服务器下,然后解压压缩包、为了操作方便改名:
tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1
2.2 配置环境变量:
2.2.1 配置系统的环境变量:
进入/etc/profile目录下:vim /etc/profile,会提示文件已存在,输入“e”进入编辑模式即可,
然后在文件的最后加上如下配置:
#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin
然后键盘按下“Esc”,输入“:wq”保存退出vim编辑模式,最后:source /etc/profile 使文件修改生效。
2.2.2 配置spark的配置文件:
2.2.2.1 新建spark-env.sh配置文件(spark环境配置文件):
进入spark的conf目录下:cd /opt/spark-2.3.1/conf/,
copy一份spark-env.sh:cp spark-env.sh.template spark-env.sh
然后进入vim编辑模式:vim spark-env.sh,会提示文件已存在,输入“e”进入编辑模式即可。
在文件的最后加上如下配置:
#export SCALA_HOME=/opt/scala-2