windows 下运行spark on yarn (非submit方式)

本地环境

本地操作系统: windows 10. 1709 教育版
本地hadoop版本:hadoop-2.6.5
本地winutils版本:hadoop2.6.4-2.6.7
本地spark版本: spark-2.2.0-bin-hadoop2.6
本地scala版本:scala-2.11.11
本地java版本:jdk-1.8.0_151
本地IDEA版本：idea 2017.01

远端环境

集群操作系统: ubuntu-14.04-server版
集群hadoop版本: cloudera-cdh-5.13.0
集群spark 版本: SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354
集群scala版本: cloudera cdh 5.13 自带spark1.6 (scala运行环境scala-2.9.2) spark2.2默认是用scala-2.11.8编译
集群java版本:jdk-1.8.0_151

资源下载地址

hadoop-2.6.5
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
spark-2.2.0
http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz
scala-2.11.11
https://downloads.lightbend.com/scala/2.11.11/scala-2.11.11.msi
winutils
https://github.com/steveloughran/winutils
java
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
spark2-csd
http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera1.jar

安装步骤cdh5.13安装
该安装步骤不是本文重点,详细方法见文档ubuntu 14.04 搭建cloudera CDH.docx

idea 安装
该安装步骤自行百度即可
cdh中安装spark 2.2.0
由于cdh集成的spark依然是spark1.6,需要在集群中添加csd,然后安装spark 2

1.将csd文件下载并放到cloudera manager 节点的 /opt/cloudera/csd/目录下

此处需要将SPARK2_ON_YARN-2.2.0.cloudera1.jar 的用户的组修改为cloudera-scm:cloudera-scm

2.重启 cloudera-scm-server 服务
service cloudera-scm-server restart
在cloudera manager 的 主机->parcel下

配置系统环境变量
安装好scala和java后，分别配置JAVA_HOME和SCALA_HOME
同样，下载好hadoop和spark后配置SPARK_HOME和HADOOP_HOME.
并在path变量中添加%JAVA_HOME%\bin %SCALA_HOME%\bin %HADOOP_HOME%\bin
%SPARK_HOME%\bin
此外需要将winutils工具bin目录下的文件全部拷贝到%HADOOP_HOME%\bin中去（重复的

配置IDEA和MAVEN
配置maven的源，将maven的源修改为aliyun

IDEA内建的meven是3.3.9 它默认使用的配置文件是在windows的当前用户的.m2目录下，我们修改setting.xml
在mirrors节添加mirror

IDEA配置支持scala

File->Settings->Plugins->搜索scala 安装即可，重启idea生效

新建scala工程

在pom.xml中
修改scala的版本，并enable auto import
删除

junit
junit
4.4
test


org.specs
specs
1.2.5
test


设置target:jvm-1.8

${scala.version}

-target:jvm-1.8

删除测试类

File->Project-Structure
1.添加scala类库

设置resources目录为资源目录

将cdh5.13 的5个配置文件拷贝放进resources目录

拷贝 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml到resources目录

拷贝 hive-site.xml 到resources目录

（若使用hbase，同理）

添加cloudera cdh maven支持

cloudera
https://repository.cloudera.com/artifactory/cloudera-repos/

在节中 添加如下