pyspark中map模型&&flatmap模型

最新推荐文章于 2023-07-30 21:53:18 发布

「已注销」

最新推荐文章于 2023-07-30 21:53:18 发布

阅读量196

点赞数

分类专栏： python 文章标签：学习 python

本文链接：https://blog.csdn.net/weixin_73276911/article/details/130911107

版权

python 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

文章介绍了PySpark中用于数据处理的map和flatmap方法。map函数对RDD的每个元素应用指定的lambda函数，如将每个元素乘以10再加5。而flatmap则在map的基础上进一步消除元素的嵌套，如将字符串按空格拆分成单独的单词。文中通过实例展示了这两个方法的使用。

摘要由CSDN通过智能技术生成

---【map】---

map方法，是对rdd中的每一个元素都进行操作。

【运行实例】：

from pyspark import SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"]="D:/python_set/py_run/python.exe"
conf=SparkConf().setMaster("local[*]").setAppName("run_pyspark")
sc = SparkContext(conf=conf)
# 准备一个rdd，其中以列表形式存储了五个数，分别是1，2，3，4，5
rdd = sc.parallelize([1, 2, 3, 4, 5, 6])
# 通过map方法，将所有数据全部都乘以10,map()括号中需要传入函数，这个被定义的函数必须能够接收一个参数的传入，能够返回一个返回值
# lambda函数：接收一个参数作为x，将x*10+5作为返回值(链式调用)
new_rdd = rdd.map(lambda x: x * 10).map(lambda x: x + 5)
# f:(T) -> U
print(new_rdd.collect())
sc.stop()

---【flatmap】---

【运行实例】：

from pyspark import SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"]="D:/python_set/py_run/python.exe"
conf=SparkConf().setMaster("local[*]").setAppName("run_set")
sc = SparkContext(conf=conf)
# 准备一个rdd
"""flatMap的作用和map作用差不多一样，唯一的区别就是，flatmap会在最后解除一层数据嵌套"""
rdd = sc.parallelize(["python 111 333 555", "pycharm 444", "pyspark 4121", "666 4444"])
rdd = rdd.flatMap(lambda x: x.split(" "))
print(rdd.collect())