5.0.0Spark安装

Spark安装

一、       安装前提

            运行 Spark 需要 Java JDK 1.7。Spark 会用到 HDFS 与 YARN，需要先安装Hadoop。

Spark由Scala语言开发，本次安装的Spark2.1.1，该版本是使用Scala2.11.8编译。需要版本匹配。

二、       上传Spark到安装目录，解压安装

三、       配置/etc/profile文件

                定义SPARK_HOME并把spark路径加入到PATH参数中

export  SPARK_HOME=/usr/spark/spark-2.1.1-bin-hadoop2.6
export  PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

                快速生效：source /etc/profile

四、       配置spark安装目录下的conf/slave文件

                复制slaves.template 为slaves

                编辑slave， 加入slave配置节点

五、       配置spark安装目录下的conf/spark-env.sh文件

                复制spark-env.sh.template为spark-env.sh

                修改spark-env.sh，设置master为Master节点。

export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=512M

六、  向各个节点分发spark程序

七、  查看是否分发复制成功

八、  配置从节点profile

vi /etc/profile
source  /etc/profile

            slave01:

            快速生效：

         slave02:

            修改etc/profile：

            快速生效：

九、  启动Spark

            进入spark安装目录下的sbin

            启动（hadoop未启动）：./start-all.sh

               启动失败：

  

          spark.env.sh配置文件错误

            追加：

export JAVA_HOME=/usr/java/jdk1.7.0_02
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.4
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.4/etc/hadoop
export SPARK_WORKER_MEMORY=1g
export SPARK_HOME=/usr/spark/spark-2.1.1-bin-hadoop2.6

            重新启动：

                master:

                slave01：

                slave02：

                浏览器端：http://10.10.34.28:8080/

                主节点启动Worker和Master

                从节点启动Worker

                    打印信息：

                failed….        查看log日志好像全是successful

            暂时不知道failed是什么原因。但是jps主节点启动了worker和master，从节点也启动了worker。查了查网上资料，好像说的是spark安装资源版本问题（不确定）。

十、  验证客户端连接

            进入master节点，进去spark安装目录的bin目录下，使用spark-shell连接集群。

            输入命令：

spark-shell –master spark://master:7077--executor-memory500m

            出现一些列错误：

                原因：没有启动hadoop中HDFS

                再次启动：