spark
静待有缘人
这个作者很懒,什么都没留下…
展开
-
spark基础之filter、reduceByKey单词计数
spark基础之filter、reduceByKey单词计数来直接上代码导入数据集rdd = sc.textFile('F:/study\Spark/test.txt')rdd.collect()使用maprdd1 = rdd.map(lambda x:x.split(','))rdd2 = rdd1.map(lambda x:x[3])rdd2.filter(lambda x:x=='男').count()后面的就是单词计数了将文档中的单词计数,保存为(单词,次数)的形式原创 2021-04-25 16:24:42 · 1163 阅读 · 0 评论 -
spark基础(1)reduceByKey和join的使用
reduceByKey和join的使用刚刚接触了spark,发现还不错,今天就写了一篇关于spark的基础篇,将几个学生的成绩求和,平均值,放入一个文件中,下面就是三个文件1、第一步还是导入文件,rdd1 = sc.textFile('F:/study/大三下/Spark/数据集/student.txt').map(lambda x:x.split('\t'))rdd2 = sc.textFile('F:/study/大三下/Spark/数据集/result_bigdata.txt').ma原创 2021-04-15 17:34:45 · 338 阅读 · 0 评论