linux spark安装

安装包下载

迅雷云盘：spark-2.3.1
链接：https://pan.xunlei.com/s/VMRi1Hz4HAr4_o2bdUHihBhKA1
提取码：ez34

创建虚拟机

创建三台需要的虚拟机，且已经安装好java环境

关闭防火墙

查看防火墙状态： systemctl status firewalld.service

绿的running表示防火墙开启

执行关闭命令： systemctl stop firewalld.service

再次执行查看防火墙命令：systemctl status firewalld.service

执行开机禁用防火墙自启命令 ： systemctl disable firewalld.service

设置主机名

hostnamectl set-hostname XXX
使用hostname验证

主机名和ip映射

查看：cat /etc/hosts
编辑：vim /etc/hosts
添加
192.168.111.134 node1
192.168.111.139 node2
192.168.111.138 node3

配置免密登录

参考：https://www.dazhuanlan.com/2019/10/05/5d9871c2c7e1b/?cf_chl_jschl_tk=2438be4137033add2e93dc8544ce639fa146e41b-1611389570-0-AcSYjEeFa2JIHq3lXnz9HicrG7dD-jkoJ0A6dBVGJW-zlPffZg27DwkVhhN2V2Gm-pJn7ejPHSuWP6R3ittCQkfJj4cGDYXWxJLjTfLj6qNRcGLisl0tF39pHsMBNM0LnIr-UZj_S2Rxd6-o1RAds6bcb7HktKgnsLtmu2Y6vTMvhOWWQixiMNveZw8OWm7eiY0P0uB4rHnJ7W0n5Ru1kFB8ypueX5pY2ZgMIeF1I1Sr8zRGspN_CGlhigsnVLU_MhEf5Bs3tJA_fjSsD_q_G_1t19dUhKYNP7ARBsUqHlV0MOru1Y6NieGu1HYblP6HeAhnXsoT0b6Ekh7-mq0bjkQ

上传spark并解压和重命名

解压：tax -zxvf 文件名
重命名：mv 文件夹 新名字

spark配置

cd conf
cp slaves.template slaves
vi slaves
将localhost改为node2 node3

cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export SPARK_MASTER_HOST=node1 #主节点
export SPARK_MASTER_PORT=7077 # 端口号
export SPARK_WORKER_CORES=1 # 核心数
export SPARK_WORKER_MEMORY=1g # 内存

在/sbin/spark-config.sh 加入JAVA_HOME的路径

发送到另两台机器
scp -r ./spark-2.3.1/ node2:spark-2.3.1
scp -r ./spark-2.3.1/ node3:spark-2.3.1

启动和停止

在sbin目录下
./start-all.sh
./stop-all.sh

win10查看

打开系统目录：c:/windows/system32/drivers/etc找到hosts文件，
打开hosts文件并在最后面添加一条记录
192.168.236.129 node1
192.168.236.129 node2
192.168.236.129 node3
浏览器访问 node1:8080
如下：