pyspark获取和处理RDD数据

最新推荐文章于 2023-04-11 12:00:00 发布

Super乐

最新推荐文章于 2023-04-11 12:00:00 发布

阅读量1.7k

点赞数

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/wplblog/article/details/113885640

版权

本文介绍了如何在pyspark中通过SparkContext的textFile方法获取HDFS数据，处理RDD的基本操作，包括数据类型检查、数据切片、过滤和转换。重点讲解了如何使用lambda表达式和map函数进行数据处理，以及如何谨慎使用collect方法获取大量数据。

摘要由CSDN通过智能技术生成

弹性分布式数据集（RDD）是一组不可变的JVM对象的分布集，可以用于执行高速运算，它是Apache Spark的核心。

在pyspark中获取和处理RDD数据集的方法如下：

1. 首先是导入库和环境配置（本测试在linux的pycharm上完成）

import os
from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession

os.environ["PYSPARK_PYTHON"]="/usr/bin/python3"

conf = SparkConf().setAppName('test_rdd')
sc = SparkContext('local', 'test', conf=conf)
spark = SparkSession(sc)

2. 然后，提供hdfs分区数据的路径或者分区表名

txt_File = r"hdfs://host:port/apps/hive/warehouse/数据库名.db/表名/分区名/part-m-00029.deflate"  # part-m-00029.deflate
# txt_File = r"hdfs://host:port/apps/hive/warehouse/数据库名.db/表名"  # hive table，即也可直接根据表名读取

3. sc.textFile进行读取，得到RDD格式数据<还可以用 spark.sparkContext.parallelize(dat