RDD,Spark SQL,DF群组统计

最新推荐文章于 2022-03-15 00:41:27 发布

NoOne-csdn

最新推荐文章于 2022-03-15 00:41:27 发布

阅读量422

点赞数 1

分类专栏： pyspark

本文链接：https://blog.csdn.net/weixin_40161254/article/details/87921394

版权

pyspark 专栏收录该内容

63 篇文章 9 订阅

订阅专栏

RDD

#1  RDD性别统计
a=userrdd.map(lambda x:(x[2],1)).reduceByKey(lambda x,y:x+y).collect()
print(a)

#2 性别职业统计
a=userrdd.map(lambda x:((x[2],x[3]),1)).reduceByKey(lambda x,y:x+y).collect()
print(a)

Spark SQL

sqlContxt.sql('''
select gender,count(*) counts from user_table group by gender
''').show()


sqlContxt.sql('''
select gender,occupation,count(*) counts from user_table group by gender,occupation
''').show()

df统计

#df
user_df.select('gender').groupby('gender').count().show()

user_df.select('gender','occupation').groupby('gender','occupation')\
    .count().orderBy('gender','occupation').show(5)