PySpark学习笔记（1）

pySpark

一定要先构建SparkContext类对象作为执行入口

RDD

数据容器转成RDD对象 .parallelize()

如果要查看RDD里面有什么内容，需要用collect（）方法

除了字符串和字典，其他都变成了列表

.testFile(路径) 数据输入 文件传入

rdd.Map(func)   传入的函数有返回值  还是rdd对象

只能对一个个元素进行处理

（T）-> （T） 传入和传出的参数是相同类型的

rdd.Map().Map().Map()。。。

Rdd.flatmap  解除嵌套

reduceByKey（func）  

Func：接受2个传入参数（类型要返回一个返回值，类型和传入要求一致）

KV型RDD 二元元组：元组里只有两个元素  会自动识别第一个为key进行分组

将所有相同key的第二个元素按照设定的函数两两计算

最后得到一个元组 第一个元素为key 第二个元素就是结果

如果不是二元元组，则从左到右开始，前两个先计算，得到结果再与后一个计算，直到最后

练习

计算文件中单词的出现数量

from pyspark import SparkConf, SparkContext
import os

os.environ["PYSPARK_PYTHON"] = "D:\\dev\\python\\python3.10.4\\python.exe"

conf: SparkConf = SparkConf().setAppName("test_spark_app")  # 一直是SparkConf对象

sc = SparkContext(conf=conf)

rdd = sc.textFile("D:\\dev\\python-learn\\word.txt")
rdd2 = rdd.flatMap(lambda x: x.split(" ")).map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)

print(rdd2.collect())

sc.stop()

filter（func） 过滤元素  func返回bool值  true就输出 false就过滤掉

distinct（）  去重 无需传参

sortBy（）  排序   

练习

from pyspark import SparkConf, SparkContext
import json
import os

os.environ["PYSPARK_PYTHON"] = "D:\\dev\\python\\python3.10.4\\python.exe"

conf: SparkConf = SparkConf().setAppName("test_spark_app")  # 一直是SparkConf对象

sc = SparkContext(conf=conf)

rdd = sc.textFile("D:\\dev\\python-learn\\orders.txt")
data = rdd.flatMap(lambda x: x.split("|")).map(lambda x: json.loads(x))

city_rank = data.map(lambda x: (x['areaName'], int(x['money'])))\
          .reduceByKey(lambda x, y: x + y).sortBy(lambda x: x[1], ascending=False, numPartitions=1)
print("城市销售额排名：", city_rank.collect())

category = data.map(lambda x: x['category']).distinct()
print("全部城市商品类别：", category.collect())

beijing_category = data.map(lambda x: (x['areaName'], x['category'])).filter(lambda x: x[0] == "北京")\
                  .map(lambda x: x[1]).distinct()
print("北京市商品类别：", beijing_category.collect())