本地提交Spark任务到yarn集群

一、本地环境配置

配置本地环境前，先下载相关压缩包：[jdk1.8.0_74.tar.gz]，[hadoop-3.1.2.tar.gz]，[spark-2.3.1.tar.gz]，然后根据本地环境选择mac或windows配置

mac环境配置

• 配置jdk1.8
  可参考https://jingyan.baidu.com/article/7f766daffd99354101e1d095.html

• 配置hadoop3.0
  （1）下载并解压 hadoop-3.1.2.tar.gz
  （2）添加环境变量HADOOP_HOME和PATH

   ①、在terminal输入： vim ~/.bash_profile 添加下面两行内容： 
     export HADOOP_HOME=/Users/hadoop/hadoop-3.1.2 (根据你自己解压存放的目录进行设定) 
     export PATH=$PATH:$HADOOP_HOME/bin 
   ②、保存文件 
   ③、设置变量立即生效命令：source ~/.bash_profile 
   ④、查看设置变量设置是否成功：hadoop version
  

  （3）修改hadoop配置文件

  配置文件都在 $HADOOP_HOME/etc/hadoop目录下 修改 Hadoop hadoop-env.sh 配置
     JAVA_HOME=#{
       你的JAVA_HOME目录} 
     HADOOP_PREFIX=#{
       你的HADOOP_HOME目录} 
  说明：查看JAVA_HOME 命令：/usr/libexec/java_home# set to the root of your Hadoop 
  说明：HADOOP_PREFIX 你本地hadoop路径 xxxx/hadoop-3.1.0/
  运行 which hdfs 有返回值 说明环境变量生效
  运行 hdfs dfs -ls /tmp 
  

• 配置环境变量HADOOP_USER_NAME，其值为hadoop

• 配置spark
  （1）下载并解压[spark-2.3.1-bin-spark.tar.gz]