*## 傻瓜式spark单机安装配置
*## 傻瓜式spark单机安装配置
点此下载spark安装包 提取码:4q7k
条件准备spark安装包,hadoop伪分布式配置完成**
环境变量*
1.解压spark
进入到spark放在的目录下
tar -zxvf spark安装包
进行重命名
mv 安装包名 spark
2.配置profile
- vim profile
export SPARK_HOME=/opt/soft/spark
export PATH= P A T H : PATH: PATH:SPARK_HOME/bin:$SPARK_HOME/sbin
2.生效
source /etc/profile 环境变量生效
3.配置
1.进入spark目录下的conf
cd spark/conf
2.复制spark-env.sh.template 取名为spark-env.sh
cp spark-env.sh.template spark-env.sh
3.进入文件配置
vim spark-env.sh
#jdk位置
export JAVA_HOME=/opt/soft/jdk
#本机端口号
export SCALAk_MASTER_IP=192.168.88.100
#允许的最大内存
export SPARK_WORKER_MEMORY=1g
#配置文件位置
export SPARK_CONF_DIR=/opt/soft/spark/conf
4.启动
spark