Spark Standalone单机模式环境搭建

最新推荐文章于 2024-08-07 22:17:24 发布

Acolasiajialifen

最新推荐文章于 2024-08-07 22:17:24 发布

阅读量1k

点赞数

文章标签： spark 大数据 big data 后端

本文链接：https://blog.csdn.net/Acolasiajialifen/article/details/122289974

版权

本教程详细介绍了在Windows10上配置Centos7环境，安装jdk1.8和Spark-2.4.8的步骤。无需配置环境变量，直接在/tools/目录下解压并启动Spark，然后启动Spark历史服务器，通过Web界面验证安装成功。

摘要由CSDN通过智能技术生成

实验目录

将spark-2.4.8-bin-hadoop2.7.tgz上传至/tools/目录下
进入/tools/目录下将其解压至/training/目录下，执行：
```
tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /training/
```
无需配置环境变量，因为spark和hadoop的脚本命令有冲突
进入/training/spark-2.4.8-bin-hadoop2.7目录下，创建history与logs文件
```
mkdir history
mkdir logs
```

进入/training/spark-2.4.8-bin-hadoop2.7/conf目录下，修改配置文件：spark-env.sh(由于事先不存在，需要先复制)

// 复制命令
cp spark-env.sh.template spark-env.sh
// 添加内容
export JAVA_HOME=/training/jdk1.8.0_171
export SPARK_MASTER_HOST=hadoop

关注