创建RDD对象1

最新推荐文章于 2024-07-18 15:53:23 发布

傻么老幺

最新推荐文章于 2024-07-18 15:53:23 发布

阅读量69

点赞数 2

文章标签： python linux 开发语言

本文链接：https://blog.csdn.net/qq_43428465/article/details/136856915

版权

# 演示如何创建RDD对象.
# 方式1: 通过本地集合模拟数据方式(Test测试时用.)
# 分区数规则: 默认是2个, 还可以通过 parallelize()函数设置分区数(最小分区数),  还可以通过 setMaster('local[N]')设置.

# 导包
from pyspark import SparkConf, SparkContext
import os

# 锁定远端Python版本.
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

# main方法
if __name__ == '__main__':
    # 1. 构建SparkContext对象.
    # 这里的3表示 3个线程(Task), 因为是通过 parallelize()函数获取的rdd, 所以现在能看到 3个分区.
    conf = SparkConf().setMaster('local[3]').setAppName('create_rdd_1')
    sc = SparkContext(conf = conf)

    # 2. 构建rdd对象,  这里的5, 表示: 5个分区.
    rdd_init = sc.parallelize(['乔峰', '虚竹', '段誉', '段延庆', '叶二娘', '岳老三', '云中鹤'],6)

    # 3. 查看RDD中每个分区的数据, 以及分区的数量
    print(rdd_init.getNumPartitions())      # 获取分区数量, 默认: 2
    print(rdd_init.glom().collect())        # 获取每个分区的数据.