pyspark：RDD：filter，map，flatMap

RDD的构建方式一：textFile()

        其中的word.txt文件为：

                Hadoop is good
                Spark is good
                Spark is better

from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext("local")
spark = SparkSession(sc)
lines = sc.textFile("/root/pythonlearn/word.txt")

filter(过滤):

linesresult = lines.filter(lambda lines:"Spark" in lines)
linesresult.foreach(print)

在代码中出现并未打印结果的情况，但在终端的交互式环境中可以输出结果 

也可以采用第二种方式输出结果：

linesresult.collect()

结果如下（后续文章均使用collect（）输出）：

['Spark is good', 'Spark is better']

map(映射)：

linesresult = lines.map(lambda lines:lines.split(" "))
linesresult.foreach(print)
linesresult.collect()

结果：

[['Hadoop', 'is', 'good'], ['Spark', 'is', 'good'], ['Spark', 'is', 'better']]

flatMap()与map()相似。先执行map映射操作，再执行flat扁平化操作：

linesresult = lines.flatMap(lambda lines:lines.split(" "))
linesresult.foreach(print)
linesresult.collect()

结果：

['Hadoop', 'is', 'good', 'Spark', 'is', 'good', 'Spark', 'is', 'better']

 RDD的构建方式二：parallelize（）

# %%
rdd = sc.parallelize([2, 3, 4])
print(sorted(rdd.flatMap(lambda x: range(1, x)).collect()))
print(sorted(rdd.map(lambda x: [(x, x), (x, x)]).collect()))
print(sorted(rdd.flatMap(lambda x: [(x, x), (x, x)]).collect()))

运行结果：

[1, 1, 1, 2, 2, 3]
[[(2, 2), (2, 2)], [(3, 3), (3, 3)], [(4, 4), (4, 4)]]
[(2, 2), (2, 2), (3, 3), (3, 3), (4, 4), (4, 4)]

pyspark依赖于spark，而spark由scala语言开发，scala的底层是java

在pyspark的配置中需要：

        1.python解释器，最好是3.6版本及以下，并配置环境变量

        2.java，jdk最好是1.8版本，并配置环境变量

        3.scala环境，并配置环境变量

        4.Hadoop，并配置环境变量

        5.spark（spark中内置有pyspark），并配置环境变量

        6.python的pyspark库

在scala中map，filter，flatmap详细如下：

Scala_函数式编程以及简单的map，rreduce_Gadaite的博客-CSDN博客