Spark

Spark

---

版本如下：
hadoop 2.6.1
spark 2.1.0
scala 2.11.8

---

安装

下载地址
https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.6.tgz
解压
tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz
配置环境变量
vim /etc/profile

export SPARK_HOME=/opt/spark-2.1.0
PATH=$SPARK_HOME/bin

配置spark-env.sh

export SCALA_HOME=/usr/scala
export SPARK_WORK_MEMORY=4g
export SPARK_MASTER_IP=hadoop
export MASTER=spark://hadoop:7077

注意：
SPARK_WORK_MEMORY 决定在每一个Worker节点上可用的最大内存，增加这个数可以在内存中缓存更多数据，但一定要给Slave的操作系统和其他服务预留足够内存
SPARK_MASTER_IP 参数可以是具体的IP地址也可以是hostname，系统会根据hosts文件进行解析
MASTER配置端口号
**PS：**SPARK_MASTER_IP和MASTER必须配置否则会造成Slave无法注册主机错误
配置conf/slaves
添加节点的主机名
Spark启动和关闭
./sbin/start-all.sh
./sbin/stop-all.sh
jps：

Master
worker

进入spark shell
bin/spark-shell --master spark://hadoop:7077
:quit 退出
web页面：
ip:8080
web页面
ip:4040 查看job完成情况