yarn集群运行代码

1. 在本地的pycharm上，运行代码时，需要增加以下改动点：

# 改动点1：增加环境变量，让pycharm提交到yarn时，知道hadoop的配置文件位置
import os
os.environ["HADOOP_CONF_DIR"] = "/export/server/hadoop-3.3.1/etc/hadoop"

# 改动点2：在集群中运行，就不能读取本地文件了，需要读取 hdfs 上的文件
file_rdd = sc.textFile("hdfs://Master:9000/data/input/order.text")

# 改动点3：如果在pycharm中提交到yarn，依赖其他py文件，可以通过设置属性来指定依赖的代码， 比如 from rdd_calcu import calcu_city_category
conf.set("spark.submit.pyFiles", "rdd_calcu.py")

2. 在linux服务器上运行代码时，通过 spark-submit 提交到集群中运行：

#  --py-files 参数可以指定依赖的其他代码，可以是单个的py文件，也可以是一个zip包，代码里面就不用再设置conf.set...
spark-submit --master yarn --py-files /export/spark_code/day01/rdd_calcu.py /export/spark_code/day01/rdd_operators_linux.py

3. 提交到集群运行时，命令行参数：

查看当前节点cpu核数：  cat /proc/cpuinfo | grep processor | wc -l
查看当前节点内存大小： free -h

--master yarn			# 以yarn方式运行
--py-files 				# 指定依赖的其他代码，可以是单个的py文件，也可以是一个zip包
--executor-memory 2g	# 每个executor使用2g内存
--executor-cores 1		# 每个executor使用1个核心
--num-executors 6		# 总共使用6个executor