用yarn插入hive数据

spark-submit --class spark.spark3 /opt/Mainscala.jar
在使用纱线行走火花，则需要在添加以下行spark-env.sh

export HADOOP_CONF_DIR=$HADOO{P}_{H}OME/etc/hadoop注：检查$ HADOOP_HOME的/ etc/Hadoop是正确的在您的环境。而spark-env.sh也包含HADOOP_HOME的导出。

1、spark集群无需启动，因为on yarn模式运行时资源调度和管理都是hadoop的yarn进行管理，需要在hadoop的yarn-site.xml中加入如下配置：
         <property>
                 <name>yarn.nodemanager.pmem-check-enabled</name>
                 <value>false</value>
         </property>

         <property>
                 <name>yarn.nodemanager.vmem-check-enabled</name>
                 <value>false</value>
         </property> 
     注意：集群3个机器都要拷贝保持一致、该步骤修改后最好重启一下hadoop集群

jar包代码也要改成yarn

     val sparkSession =SparkSession.builder().master("yarn")

启动命令

4、运行命令变化为（下面代表两种方式：比赛默认不加deploy-mode就是client）
比赛命令：spark-submit --master yarn --class com.xyzy.Task1 /opt/jars/readmysql2.jar

  spark-submit --master yarn --deploy-mode client --class com.xyzy.Task1 /opt/jars/readmysql2.jar 
  spark-submit --master yarn --deploy-mode cluster --class com.xyzy.Task1 /opt/jars/readmysql2.jar 
  spark-submit --master yarn --class spark.spark3 /opt/Mainscala.jar