spark-马士兵-安装

参考视频链接

1. 版本

hadoop:2.7.3
hive:2.7.6
jdk:1.8
spark: 2.4.7
scala: 2.1.2

2.安装scala-2.12.8

在主节点完成以下配置
1.下载Scala
Scala官方下载地址：https://www.scala-lang.org/download/2.12.8.html
打开页面滑动至底部
选择包类型，如scala-2.12.8.tgz

2.上传并解压scala
上传到/usr/local，并解压到此位置
用xftp软件上传，解压命令，并重命名为scala

解压： tar -xvf scala-2.12.8.tgz
重命名： mv scala-2.12.8.tgz scala

3.配置环境变量

编辑/etc/profile(在文本末尾添加)，配置系统环境变量
1）编辑文件： vim /etc/profile
2）末尾添加如下内容
export SCALA_HOME=/usr/local/scala
export PATH=  $SCALA_HOME/bin:$PATH
3）保存退出
4）生效环境变量
source /etc/profile

3.安装spark-2.4.7

在主节点完成以下配置
1.下载spark, 网址： spark.apache.org下载

2.上传解压到 /usr/local 目录，并改名为 spark
上传到/usr/local，并解压到此位置
用xftp软件上传，解压命令

解压： tar -xvf spark-2.4.7-bin-hadoop2.7.tgz
重命名： mv spark-2.4.7-bin-hadoop2.7.tgz spark

3.配置环境变量

编辑/etc/profile(在文本末尾添加)，配置系统环境变量
1）编辑文件： vim /etc/profile
2）末尾添加如下内容
export SPARK_HOME=/usr/local/spark
export PATH=  $SPARK_HOME/bin:$PATH
3）保存退出
4）生效环境变量
source /etc/profile

3.配置spark-env.sh文件

# 进入spark安装路径的conf目录
cd /usr/local/spark/conf/
#
# 拷贝spark-env.sh已有模板
cp spark-env.sh.template spark-env.sh

用vim编辑 spark-env.sh 在末尾添加如下内容

#
# JDK 的安装路径
export JAVA_HOME=/usr/java/default
# Scala 的安装路径
export SCALA_HOME=/usr/local/scala
# Hadoop 的安装路径
export HADOOP_HOME=/usr/local/hadoop
# Hadoop 配置文件路径
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
# 集群主机IP
export SPARK_MASTER_IP=192.168.56.100
# 集群主机IP
export SPARK_MASTER_HOST=192.168.56.100
# 在Slave中需要将export SPARK_LOCAL_IP=10.1.1.91改成Slave对应节点的IP
export SPARK_LOCAL_IP=192.168.56.100
# Worker内存，不能超过实际内存
export SPARK_WORKER_MEMORY=1g
# Worker核心数
export SPARK_WORKER_CORES=2
# spark 安装路径
export SPARK_HOME=/usr/local/spark
# Hadoop bin路径
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

4.配置slaves文件（这个文件模板也在conf下）

# 拷贝slaves已有模板
cp slaves.template slaves
# 用vim编辑 slaves 文件，添加如下内容（hosts文件中配置的集群主机名）
slave1
slave2
slave3

5.将以上安装以及配置从主节点拷贝的从节点

集群内是用scp命令传输文件很方便

5.1 主节点拷贝scala到从节点

scp -r /usr/local/scala/ root@slave1:/usr/local/
scp -r /usr/local/scala/ root@slave2:/usr/local/
scp -r /usr/local/scala/ root@slave3:/usr/local/

5.2 主节点拷贝spark到从节点

scp -r /usr/local/spark/ root@slave1:/usr/local/
scp -r /usr/local/spark/ root@slave2:/usr/local/
scp -r /usr/local/spark/ root@slave3:/usr/local/

2. 注意：拷贝到从节点的spark，配置路径conf下的 spark-env.sh
   需要将 export SPARK_LOCAL_IP=192.168.56.100 中的IP改成Slave对应节点的IP
   如，在从节点slave1中

export SPARK_LOCAL_IP=192.168.56.101

5.3 主节点拷贝/etc/profile文到从节点

拷贝

scp /etc/profile root@slave1:/etc/profile
scp /etc/profile root@slave2:/etc/profile
scp /etc/profile root@slave3:/etc/profile

执行source命令是环境变量生效

ssh root@slave1 "source /etc/profile"
ssh root@slave2 "source /etc/profile"
ssh root@slave3 "source /etc/profile"

6. 启动Spark

启动spark(在此之前Hadoop已启动)

/usr/local/spark/sbin/start-all.sh

注：Spark的启动脚本的名称和Hadoop一样的，你可以使用mv命令为spark启动脚本取个别名
如：start-spark-all.sh
便于自己区分

7. jps 查看主从集群已有活动

主节点

8227 DataNode
10115 Worker
8580 ResourceManager
8692 NodeManager
10149 Jps
8122 NameNode
8397 SecondaryNameNode

可见相对于本篇开始，主节点多出了Master和Worker
从节点

7820 Jps
7197 DataNode
7309 NodeManager
7775 Worker

可见相对于本篇开始，从节点多出了Worker

以下是马士兵视频的笔记

1.安装-测试版本

1）复制一台虚拟机，命名为c
2) 修改ip

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3(注意vi后面有个空格)(设置网关)
改成“IPADDR=192.168.56.200”—存盘退出-按Esc,输入“：wq”

3. 修改hostname为c

“hostnamectl(是control的l) set-hostname c(注意主机名不能有下划线)

4. 修改 /etc/hosts 加入对本机的解析

输入： vim /etc/hosts 
添加： 192.168.56.200 c 后存盘退出

5）重启网络服务

输入：systemctl restart network

6）上传spark安装文件到root目录
下载spark, 网址： spark.apache.org下载

7）解压到 /usr/local 目录，并改名为 spark

解压： tar -xvf spark-2.4.7-bin-hadoop2.7.tgz
重命名： mv spark-2.4.7-bin-hadoop2.7.tgz spark

2. 运行模式

local
standalone
yarn
mesos模式

2.1 使用spark-submit 上传job

./bin/spark-submit --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.4.7.jar 100