头歌平台，大数据实验五，spark安装

Closer9

已于 2022-04-06 22:17:03 修改

阅读量1.6w

点赞数 20

分类专栏：大数据文章标签： spark

于 2022-04-06 21:53:36 首次发布

本文链接：https://blog.csdn.net/Closer9/article/details/124001291

版权

大数据专栏收录该内容

2 篇文章 5 订阅

订阅专栏

本文详细介绍了如何在Linux环境中安装Scala和Spark。首先创建app目录并解压Scala安装包，更新环境变量。接着配置Spark环境，设置相关路径，复制并编辑spark-env.sh文件，指定各项依赖及主机名。最后启动Spark集群。

摘要由CSDN通过智能技术生成

spark环境安装

第一关

mkdir /app    //创建 app 目录
cd /opt
tar -zxvf  scala-2.12.7.tgz -C /app  
vi /etc/profile  
    
#set scala
SCALA_HOME=/app/scala-2.12.7
export PATH=$PATH:$SCALA_HOME/bin
    
source /etc/profile
scala -version
//scala    不写也不影响通关
//println("hello world");

第二关

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app 

vim /etc/profile

#set spark enviroment
SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile
    
cd /app/spark-2.2.2-bin-hadoop2.7/conf  
cp spark-env.sh.template spark-env.sh
    
vim spark-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=evassh-9262177   # machine_name 根据自己的主机确定
export SPARK_LOCAL_IP=evassh-9262177   # machine_name 根据自己的主机确定
    
cd /app/spark-2.2.2-bin-hadoop2.7

./sbin/start-all.sh