pycharm获取yelp相关数据(二)

# 1-9 统计不同类型（中国菜、美式、墨西哥）的餐厅类型及数量

df9 = df.select(explode(split(df.categories, ', ')).alias('category')) \
    .where((col('category')=='Chinese') | (col('category').like('American%')) | (col('category')=='Mexican')) \
    .groupBy(col('category')) \
    .agg(count(col('category')).alias('count')) \
    .show()

# 1-10 统计不同类型（中国菜、美式、墨西哥）的餐厅的评论数量

df10_1 = df \
    .select(col('name'),col('categories'),col('review_count')) \
    .where("categories like '%Chinese%'") \
    .agg(sum("review_count")) \
    .withColumnRenamed("sum(review_count)","sum_Chinese") \
    .show()

df10_2 = df \
    .select(col('name'),col('categories'),col('review_count')) \
    .where("categories like '%Mexican%'") \
    .agg(sum("review_count")) \
    .withColumnRenamed("sum(review_count)", "sum_Mexican") \
    .show()

df10_3 = df \
    .select(col('name'),col('categories'),col('review_count')) \
    .where("categories like '%American%'") \
    .agg(sum("review_count")) \
    .withColumnRenamed("sum(review_count)", "sum_American") \
    .show()

# 1-11 统计不同类型（中国菜、美式、墨西哥）的餐厅的评分分布
# 建立三张表，分别有1—5分的评分对应数量

# 中国菜
df11_1 = df \
    .select(col('categories'),col("stars")) \
    .where("categories like '%Chinese%'") \
    .groupBy("stars") \
    .agg(count("stars")) \
    .withColumnRenamed("stars","stars_Chinese") \
    .orderBy(col('stars_Chinese').desc()) \
    .show()
    
# 墨西哥
df11_2 = df \
    .select(col('categories'),col("stars")) \
    .where("categories like '%Mexican%'") \
    .groupBy("stars") \
    .agg(count("stars")) \
    .withColumnRenamed("stars","stars_Mexican") \
    .orderBy(col('stars_Mexican').desc()) \
    .show()

# 美式
df11_3 = df \
    .select(col('categories'),col("stars")) \
    .where("categories like '%American%'") \
    .groupBy("stars") \
    .agg(count("stars")) \
    .withColumnRenamed("stars","stars_American") \
    .orderBy(col('stars_American').desc()) \
    .show()

# 文章中出现的df，请查看第一章节即可知晓。

"""
        如果通过上述文章未能解决你的问题，请联系QQ：1491284097，请注明来意，将协助你解决问题。
"""