spark安装配置

##spark安装

下载spark2.2.0

下载地址

上传spark

安装java

参见jdk安装

安装scala

scala安装
###安装hadoop
hadoop分布式安装

解压

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 
mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

配置环境变量

vi /etc/profile
export SPARK_HOME=/opt/spark-2.2.0
export PATH=$PATH:/$SPARK_HOME/bin

source /etc/profile使配置生效

配置spark

cd /opt/spark-2.2.0
cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh
cp $SPARK_HOME/conf/slaves.template $SPARK_HOME/conf/slaves
vi $SPARK_HOME/conf/spark-env.sh
export SPARK_MASTER_HOST=host1
vi $SPARK_HOME/conf/slaves
host1
host2
host3

最简单配置，版本1.6spark伪分布式1.6
spark分布式

修改spark-env.sh

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh

伪分布什么都不需要修改

修改slaves

vim $SPARK_HOME/conf/slaves

启动 和停止

启动hdfs
启动spark
$SPARK_HOME/sbin/start-all.sh
$SPARK_HOM/sbin/stop-all.sh

验证

启动浏览器

http://hadoopallinone:8080  #浏览器地址

standalone

$SPARK_HOME/bin/spark-shell  --master spark://host1:7077 --name wordcount --executor-cores 1 --executor-memory 512m --class xxx  --jar xxx  #启动spark-shell 不指定master 默认以local启动

$SPARK_HOME/bin/spark-submit --master spark://host1:7077 --name pi --executor-cores 1 --executor-memory 512m $SPARK_HOME/examples/src/main/python/pi.py 10

yarn

设置hadoop_conf_dir
vi $SPAR{K}_{H}OME/conf/spark-env.shexportHADOO{P}_{C}ON{F}_{D}IR=$HADOOP_HOME/etc/hadoop

$SPARK_HOME/bin/spark-submit  --master yarn --name pi --executor-cores 1 --executor-memory 512m $SPARK_HOME/examples/src/main/python/pi.py 10

报错 java.nio.channels.ClosedChannelException

配置 yarn-site.xml

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>