Spark客户端在centos6.4上安装

客户端安装环境如下：

操作系统: centos6.4

操作系统内核: Linux version 2.6.32-358.el6.x86_64 (mockbuild@c6b8.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC) ) #1 SMP Fri Feb 22 00:31:26 UTC 2013

安装jdk：

     JDK版本: 1.8

修改/etc/hosts（把127.0.0.1替换为真实的IP）：

  修改前

      127.0.0.1 localhost bj-demo-01

 修改后

      192.168.1.11  localhost bj-demo-01

安装mesos（mesos-1.3.0-2.0.3.el6.x86_64.rpm）:

    1. 首先安装依赖包 

              a. rpm -ivh  libevent2-2.0.21-11.1.x86_64.rpm

              b. rom -ivh libevent2-devel-2.0.21-11.1.x86_64.rpm

    2. rpm -Uvh http://repos.mesosphere.com/el/6/noarch/RPMS/mesosphere-el-repo-6-2.noarch.rpm

    3. yum install mesos -y 

安装spark（version:2.1.1）：

    1.  解压spark安装包,cd spark

    2.  修改conf 目录下

        a.  spark-defaults.conf

            spark.master                mesos://zk://bjx-dmo-spark-01:2181,bjx-dmo-spark-02:2181,bjx-dmo-spark-03:2181/mesos
            spark.executor.memory       3g
            spark.executor.cores        1
            spark.cores.max         3
            spark.driver.memory     3g


           spark.sql.catalogImplementation in-memory
           spark.mesos.executor.home /opt/spark      注意：此处为spark集群上spark安装目录，不是当前客户端spark解压目录
           spark.executor.extraClassPath /opt/spark/jars/common/hadoop-lzo-0.4.20-SNAPSHOT.jar  注意：此处为spark集群上spark安装目录，不是当前客户端spark解压目录


            #--------history setting---------
             spark.eventLog.enabled true
             spark.eventLog.dir hdfs://mycluster/data/spark/spark-logs
             spark.mesos.dispatcher.historyServer.url  http://bjx-dmo-spark-03:18080 

   3.  spark-env.sh

          SPARK_LOCAL_DIRS=/data/disk02,/data/disk03,/data/disk04,/data/disk01
          MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so

         HADOOP_HOME=设置你的hadoop目录
         HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/conf
         LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native"

   4. hive-site.xml

   5. 执行 bin/spark-shell 命令 ，看到 “scale >  ” 为ok，可执行一些命令测试下。