pyspark on yarn 配置

最新推荐文章于 2023-12-17 18:10:34 发布

强强0007

最新推荐文章于 2023-12-17 18:10:34 发布

阅读量757

点赞数 1

分类专栏： pyspark 文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/weixin_44725721/article/details/127513204

版权

pyspark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1 yarn模式出错

pyspark on yarn 在pycharm上执行
出现以下问题：
在这里插入图片描述
解决方案：
在程序最前面添加如下程序

import os

os.environ["HADOOP_CONF_DIR"] = "/opt/module/hadoop-3.1.3/etc/hadoop"

2 yarn 模式配置

2.1 SparkSession

from pyspark.sql import  SparkSession

import os
os.environ["HADOOP_CONF_DIR"] = "/opt/module/hadoop-3.1.3/etc/hadoop"
if __name__ == '__main__':
    # 1)创建SparkSession对象
	ss = SparkSession \
	    .builder \
	    .master("yarn") \
	    .appName("merge_yarn") \
	    .getOrCreate()


	# 关闭资源
	ss.stop()

2.2 SparkConf

# 1- 创建 spark的 sparkContext核心对象
from pyspark import SparkContext, SparkConf

import os
os.environ["HADOOP_CONF_DIR"] = "/opt/module/hadoop-3.1.3/etc/hadoop"

if __name__ == '__main__':
	# 1)创建sparkContext对象
	conf = SparkConf().setMaster("yarn").setAppName("wordCount_hdfs")
	sc = SparkContext(conf=conf)
 
 
	# 关闭资源
	sc.stop()