SPARK安装与部署

SCALA安装与配置

解压缩

tar -zxvf scala压缩包.tgz
mv scala /export/software

环境变量的配置

vi /etc/profile
export SCALA_HOME=/export/software/scala
export PATH=:$SCALA_HOME/bin
#刷新变量
#source /etc/profile

SPARK的安装与配置

解压缩

tar -zxxf spark压缩包.tgz

环境变量配置

vi /etc/profile
export SPARK_HOME=/export/software/spark

配置文件

#去除spark-env.sh的后缀名
mv spark-env.sh.template spark-env.sh
vi spark-env.sh

添加

export SCALA_HOME=scala地址
export JAVA_HOME=jdk地址
export HADOOP_HOME=Hadoop地址
export SPARK_WORKING_MEMORY=2g
export SPARK_MASTER_IP=主机名
export SPARK_MASTER_PORT=7077
export HADOOP_CONF_DIR=/export/software/hadoop-2.4.1/etc/hadoop

SPARK_WORK_MEMORY 决定在每一个Worker节点上可用的最大内存，增加这个数可以在内存中缓存更多数据，但一定要给Slave的操作系统和其他服务预留足够内存
SPARK_MASTER_IP 参数可以是具体的IP地址也可以是hostname，系统会更具hosts文件进行解析
MASTER_PORT 配置端口号
HADOOP_CONF_DIR指定HDFS配置文件目录，从而整合Spark与HDFS
PS：SPARK_MASTER_IP和MASTER必须配置否则会造成Slave无法注册主机错误

配置slaves文件

#将节点的主机名加入到SLAVES文件中
slave1
slave2

启动SPARK集群

sbin/start-all.sh

停止SPARK集群

sbin/stop-all.sh