编译spark

1.linux环境准备
  虚拟机用nat方式联网，确保编译时可以联网。


2.安装jdk
    2.1上传
    2.2解压
      #创建文件夹
       mkdir /usr/java
      #解压
       tar -zxvf jdk-7u80-linux-i586.tar.gz -C /usr/java/
    2.3将java添加到环境变量中
         vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile


3.安装scala 
    3.1上传
    3.2解压
      #创建文件夹
       mkdir /usr/scala
      #解压
       tar -zxvf scala-2.10.6.taz -C /usr/scala/
    3.3将scala添加到环境变量中
         vim /etc/profile
#在文件最后添加
export SCALA_HOME=/usr/scala/scala2.10.6
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin

#刷新配置
source /etc/profile
    3.4解除权限
         chmod a–x /usr/scala/scala2.10.6/bin/scala


4.安装maven 
    4.1上传
    4.2解压
      #创建文件夹
       mkdir /usr/maven
      #解压
       tar -zxvf apache-maven-3.3.3-bin.tar.gz -C /usr/maven/maven3.3.3
    4.3将scala添加到环境变量中
         vim /etc/profile
#在文件最后添加
export MAVEN_HOME=/usr/maven/maven3.3.3
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$MAVEN_HOME/bin

#刷新配置
source /etc/profile
    4.4解除权限
         chmod a–x /usr/maven/maven3.3.3/bin/mvn


5.编译前
   防止maven出现 out of Memory，打包方式可以不设置
    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"


6.(可跳过)为了防止maven联网速度过慢，而失败
   6.1配置镜像
      vim .m2/settings.xml 
      <mirror>
            <id>nexus-osc</id>
            <mirrorOf>*</mirrorOf>
            <name>Nexus osc</name>
            <url>http://maven.oschina.net/content/groups/public/</url>
       </mirror>
      放在<mirrors></mirrors>中
   6.2配置域名解析服务区
       #vi /etc/resolv.conf
        内容：nameserver 8.8.8.8
              nameserver 8.8.4.4
   6.3修改make-distribution.sh第129行
      VERSION=...
      SPARK_HADOOP_VERSION=...
      SPARK_HIVE=...
     注释增加：
      VERSION=1.5.1
      SPARK_HADOOP_VERSION=2.6.0-cdh5.4.8
      SPARK_HIVE=1
           
7.编译spark1.5.1
   7.1上传
   7.2解压
     tar -zxf spark-1.5.1.tgz
   7.3.1mvn编译
     mvn clean package -DskipTests -Phadoop-2.4 -Dhadoop.version=2.6.0 -Pyarn -Phive  -Phive-0.13.1 -PHive-thriftserver
   7.3.2mak-distribution编译
     ./make-distribution.sh --tgz -Phadoop-2.4 -Dhadoop.version=2.6.0-cdh5.4.8 -Pyarn  -Phive -Phive-1.1.0 -Phive-thriftserver


8.编译完生成spark-1.5.1-bin-2.6.0-chd5.4.8.taz
    8.1解压
       tar -zxcf spark-1.5.1-bin-2.6.0-chd5.4.8.taz -C /kong/spark/
    8.2运行Local模式
       spark-shell
    8.3打开监控
       hadoop-spark.dragon.org:4040
    8.4验证
       val textFile=sc.textFile("README.md")
      textFile.count
      hadoop-spark.dragon.org:4040 出现结果


附加：JDK安装有问题
      sudo rpm -qa|grep java或sudo rpm -qa|grep jdk
      存在目录，就删掉
      sudo rpm -e --nodeps