Linux下spark独立集群（单机）环境部署

如果你没有hadoop环境，先参考
https://blog.csdn.net/admin_15082037343/article/details/107498074

spark环境

1. 获取部署包
   官网下载spark的部署包，http://spark.apache.org/，笔者写这篇文章的时候，spark最新版本是3.0.0。

2. 上传到Linux服务器并解压
   

3. 配置环境变量

vi /etc/profile

# 将下面这两句加入环境变量，为了方便
export SPARK_HOME=/opt/tools/spark-3.0.0-bin-hadoop3.2
export PATH=$SPARK_HOME/bin:$PATH

# 重启环境变量
source /etc/profile

4. 修改配置文件

在${SPARK_HOME}/conf下，有几个重要的配置文件

spark-env.sh

export JAVA_HOME=/opt/tools/jdk1.8.0_212
# 这是主节点的机器名称
export SPARK_MASTER_HOST=server
export SPARK_MASTER_PORT=7077
export HADOOP_HOME=/opt/tools/hadoop-3.2.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH

slaves

server

这里是机器名称，表示自己点所在机器，每一行一个机器名称，可以一次性启动所有子节点。

备注：这些文件可能没有，原本的这些文件是.template结尾的，只是把这些文件复制过来的

hive-site.xml和spark-env.sh以后再说

5. 启动

${SPARK_HOME}/sbin目录下，

start-all.sh

6. 验证

jps

浏览器输入：http://server:8080/