利用pyspark实现spark编程之数据去重及筛选

利用pyspark实现spark编程之数据去重

数据源文件

#zuoye1
# 初始化SparkContext
from pyspark import SparkContext
sc = SparkContext('local', 'remdup')
# 加载两个文件A和B

lines1 = sc.textFile("/usr/local/hadoop/A.txt")
lines2 = sc.textFile("/usr/local/hadoop/B.txt")
# 合并两个文件的内容
lines = lines1.union(lines2)
# 去重操作
distinct_lines = lines.distinct()
# 排序操作
res = distinct_lines.sortBy(lambda x: x)
# 将结果写入result文件中，repartition(1)的作用是让结果合并到一个文件中，不加的话会结果写入到两个文件
res.repartition(1).saveAsTextFile("/usr/local/hadoop/file.txt")

2 在Spark中编程，筛选出消费水平在900以上的顾客信息
首先将txt文件转为DATAFrame格式，然后再利用相关语法输出消费水平900以上的顾客信息
第一个输出为转换为dataframe形式后的文本
第二个输出为消费水平大于900的顾客信息

<