PySpark 之 Spark RDD的创建

最新推荐文章于 2023-04-05 21:34:29 发布

飞Link

最新推荐文章于 2023-04-05 21:34:29 发布

阅读量1.3k

点赞数

分类专栏： Spark计算引擎文章标签： spark big data python

本文链接：https://blog.csdn.net/feizuiku0116/article/details/122828927

版权

一、并行化创建RDD

from pyspark import SparkContext,SparkConf
import os

os.environ['SPARK_HOME'] = '/exportrver/spark'
PYSPARK_PYTHON = "/root/anaconda3/envs/pyspark_env/bin/python"
os.environ['PYSPARK_PYTHON'] = PYSPARK_PYTHON
os.environ['PYSPARK_DRIVER_PYTHON'] = PYSPARK_PYTHON

if __name__ == '__main__':
    print("PySpark First Program")
    # 输入数据
    data = ["hello","world","hello","world"]
    conf = SparkConf().setAppName("miniProject").setMaster("local[*]")
    sc = SparkContext(conf=conf)
    # 将collection的data转为spark中的rdd并进行操作
    rdd = sc.parallelize(data)
    # 执行map转化操作以及reduceByKey的聚合操作
    res_rdd = rdd