spark在伪分布式和完全分布式的配置

Hadoop伪分布式下安装配置Spark

1.安装并配置Spark

tar xzvf 解压spark压缩包

vim /etc/profile 配置spark环境变量

2.配置spark-env.sh文件(先cp复制一份修改重命名后缀)

cp /opt/spark/conf/spark-env.sh.tempalte /opt/spark/conf/spark-env.sh
vim /opt/spark/conf/spark-env.sh

增加内容:

export JAVA_HOME=/opt/jdk(jdk安装路径)
HADOOP_HOME=/opt/hadoop(hadoop安装路径)
SCALA_HOME=/opt/scala(scalca安装路径)
HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop(hadoop配置文件路径)
SPARK_MASTER_IP=localhost(本机主机名)
SPARK_WORKER_MEMORY=1g(内存)

3.查看hadoop伪分布式是否启动成功

start-all.sh

4.进入spark/sbin启动spark

/opt/spark/sbin/start-all.sh

5.查看spark

spark-shell 启动
:quit 退出

6.访问http://(虚拟机的IP):8080

进入spark的web界面

Hadoop完全分布式下安装配置Spark

1.安装并配置Spark

tar xzvf 解压spark压缩包

vim /etc/profile 配置spark环境变量

2.配置spark-env.sh文件(先cp复制一份修改重命名后缀)

cp /opt/spark/conf/spark-env.sh.tempalte /opt/spark/conf/spark-env.sh
vim /opt/spark/conf/spark-env.sh

增加内容:

export JAVA_HOME=/opt/jdk(jdk安装路径)
HADOOP_HOME=/opt/hadoop(hadoop安装路径)
SCALA_HOME=/opt/scala(scalca安装路径)
HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop(hadoop配置文件路径)
SPARK_MASTER_IP=localhost(本机主机名)
SPARK_WORKER_MEMORY=1g(内存)

3.修改slaves文件

先行复制一份无后缀slaves文件

cp /opt/spark/conf/slaves.template
/opt/spark/conf/slaves

在slaves文件中删除原有添加三台主机名

4.将环境变量profile文件和spark文件夹传输到其他两台主机上

scp 命令 scp -r命令 传输

5.在其他两台主机上生效文件profile

source /etc/profile

6.查看hadoop完全分布式是否启动成功

start-all.sh

7.进入spark/sbin启动spark

/opt/spark/sbin/start-all.sh

8.查看spark

spark-shell 启动
:quit 退出