七、Spark 1.5.1客户端安装以及基于YARN的提交模式

①spark有三种基本的提交模式，这里只介绍基于YARN的提交模式

查看还剩多少内存：在sparkproject1的虚拟机上的/usr/local/目录下输入：free

在Mem这一行，free这里列看到所剩的内存。

②安装spark客户端

1、利用WinSCP软件将文件spark-1.5.1-bin-hadoop2.4.tgz拷贝到虚拟机sparkproject1的/usr/local/目录下。

2、解压缩spark包，在local目录下输入：tar -zxvf spark-1.5.1-bin-hadoop2.4.tgz

      解压完以后，删除压缩包，在local目录下输入：rm -rf spark-1.5.1-bin-hadoop2.4.tgz，然后输入：ll检查。

3、重命名spark目录，先在local目录下输入：ll，发现有spark-1.5.1-bin-hadoop2.4文件夹，重命名这个文件夹名字。

      在local目录下输入：mv spark-1.5.1-bin-hadoop2.4 spark

4、 修改spark环境变量，在local目录下输入： vi ~/.bashrc

       输入键盘 i 键 ，更改内容：

       export SPARK_HOME=/usr/local/spark

       export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

       export PATH=$PATH:......$SPARK_HOME/bin

     

       最后的内容为：

      export JAVA_HOME=/usr/java/latest

      export HADOOP_HOME=/usr/local/hadoop

      export HIVE_HOME=/usr/local/hive

      export ZOOKEEPER_HOME=/usr/local/zk

      export SCALA_HOME=/usr/local/scala

      export FLUME_HOME=/usr/local/flume

      export FLUME_CONF_DIR=$FLUME_HOME/conf

      export SPARK_HOME=/usr/local/spark

      export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

      export

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$SCALA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin

然后按Esc键，再输入:wq，保存退出。

5、最后source一下，在local目录输入：source ~/.bashrc③修改spark-env.sh文件

1、在sparkproject1虚拟机的/usr/local/目录下输入：cd spark/conf/，进入conf文件夹。

2、再在conf目录下输入：ll，发现有：spark-env.sh.template，模板文件。为这个模板文件更改名字。

      在conf目录下输入：cp spark-env.sh.template spark-env.sh

3、在conf目录下输入：vi spark-env.sh

      然后输入键盘 i 键，更改内容：

      在# Copy it as spark-env.sh and edit that to configure Spark for your site.这一行下面增加如下内容：

      export JAVA_HOME=/usr/java/latest

      export SCALA_HOME=/usr/local/scala

      export HADOOP_HOME=/usr/local/hadoop

      export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

      最后按Esc键，输入:wq，保存退出。

④用yarn-client模式提交spark作业

提交spark自己的示例包里面的文件。

1、在sparkproject1虚拟机的/usr/local/目录下输入：mkdir spark-study，新建这样一个文件夹。

      然后输入：cd spark-study/，进入这个sparkstudy目录进行操作。

2、在spark_study目录下输入：vi spark_pi.sh

      输入键盘 i 键，更改内容：

        /usr/local/spark/bin/spark-submit \

        --class org.apache.spark.example.JavaSparkPi \

       --master yarn-client \

       --num-executors 1 \

       --driver-memory 1m \

       --executor-memory 1m \

       --executor-cores 1 \

       /usr/local/spark/lib/spark-examples-1.5.1-hadoop2.4.0.jar \

再按Esc键，输入:wq，保存退出。

3、在spark_study目录下输入：chmod 777 spark_pi.sh

4、在spark_study目录下输入：./spark_pi.sh

⑤安装图形化界面

 

yum groupinstall "X Window System"

yum groupinstall "Desktop"

yum groupinstall "Chinese Support"

然后再：startx，启动