使用Spark RDD算子实现经典实战案例: 热门中文热词频Top10统计 数据分析案例

已于 2024-10-14 08:55:02 修改
阅读量425 收藏 11
点赞数 6
分类专栏： python 大数据 文章标签： spark 大数据 分布式 hdfs 数据库 数据仓库 数据库开发
于 2024-10-09 10:14:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55006020/article/details/142778882
版权
  • 学习：知识的初次邂逅
  • 复习：知识的温故知新
  • 练习：知识的实践应用

目录

一,需求

二,思路

三,代码实现

一,需求

本文案例的资源,可直接下载

https://download.csdn.net/download/qq_55006020/89864064?spm=1001.2014.3001.5501

案例要求:  要求:统计出title中 热门词频Top10

有这么有一份数据文件 46.2MB

打开之后:

要求:统计出title中 热门词频Top10

实现技术栈:

实现这道题的需求,可以用的工具选择有很多,用sql,用hive,用pandas等都可以实现;

这里用spark中的RDD算子分析;

二,思路

  • 第一步:导入数据
  • 第二步:把数据转为字典
  • 第三步:根据字典键取值,拿到title
  • 第四步:使用jieba分词,过滤掉形容词,保留名词
  • 第五步:多维列表拉平至一维列表;
  • 第六步:过滤单词长度小于1的;  
  • 第七步:单词计数,转为kv结构,给每个单词后面计数为1
  • 第八步:reduce规约,统计单词次数
  • 第九步:排序,以单词出现的次数降序排序
  • 第十步:输出前Top10的单词以及出现的次数

完整代码

# encoding=utf-8

import json
from pyspark import SparkContext
import jieba.posseg as pseg

sc = SparkContext()
#第一步,导入数据
rdd = sc.textFile('hdfs://node1:8020/baike_qa_valid.json')
# print(rdd.take(10))
#第二步,转json为字典
rdd_dict = rdd.map(lambda x:json.loads(x))
# print(rdd_dict.take(10))
#第三步,遍历每一行,根据键取值
rdd_title = rdd_dict.map(lambda x:x['title'])
# print(rdd_title.take(10))
# 过滤名词
def minci(title):
    words = pseg.cut(title)  #全部的分词
    nouns = []
    for word, flag in words:
        if flag.startswith('n'):  #如果是名词就放进去
            nouns.append(word)
    return nouns

#第四步 运用叽霸分词 把词分出来  我只保留名词哦~~
rdd_word = rdd_title.map(lambda x:minci(x))
# print(rdd_word.take(10))

#第五步 拉平列表
rdd_word1 = rdd_word.flatMap(lambda x:x)
# print(rdd_word1.collect(),'查看分词的结果')
#第六步 过滤单词长度小于1的,
rdd_fiflt = rdd_word1.filter(lambda x:len(x)>1)
# print(rdd_fiflt.collect())
#第七步:单词计数 转为kv结构
rdd_tuple = rdd_fiflt.map(lambda x:(x,1))
# print(rdd_tuple.collect())
#第八步,分组聚合
rdd_group = rdd_tuple.reduceByKey(lambda x,y:x+y)
# print(rdd_group.collect())
#第九步,排序 降序
rdd_sort = rdd_group.sortBy(lambda x:x[1],ascending=False)
# print(rdd_sort.collect())


# print(rdd.take(10))
# print(rdd_dict.collect())
# print(rdd_title.take(5))
print(rdd_sort.take(10))
'''
但是统计出来的 都是一些形容词 没啥意义  所以需要保留名词
'''
#[('什么', 7555), ('怎么', 4546), ('问题', 3090),
# ('请问', 2982), ('为什么', 2563), ('一个', 2492),
# ('可以', 2355), ('如何', 2331), ('现在', 2201), ('知道', 1993)]
'''
这是保留名词之后结果
[('问题', 3090), ('大家', 1243),
 ('宝宝', 1231), ('时候', 1224),
  ('电脑', 1184), ('谢谢', 1106), 
  ('游戏', 896), ('高手', 780), ('朋友', 740), ('老师', 615)]
'''

三,代码实现以及实时展示过程

第一步:导入数据

#第一步,导入数据
rdd = sc.textFile('hdfs://node1:8020/baike_qa_valid.json')
  • 验证是否导入成功

第二步:把数据转为字典

#第二步,转json为字典
rdd_dict = rdd.map(lambda x:json.loads(x))

验证是否转入成功
 

第三步:根据字典键取值,拿到title

#第三步,遍历每一行,根据键取值
rdd_title = rdd_dict.map(lambda x:x['title'])

 抽样前10条 验证查看

第四步:使用jieba分词,过滤掉形容词,保留名词

def minci(title):
    words = pseg.cut(title)  #全部的分词
    nouns = []
    for word, flag in words:
        if flag.startswith('n'):  #如果是名词就放进去
            nouns.append(word)
    return nouns

#第四步 运用叽霸分词 把词分出来  我只保留名词哦~~
rdd_word = rdd_title.map(lambda x:minci(x))
print(rdd_word.take(10))

第五步:多维列表拉平至一维列表;

#第五步 拉平列表
rdd_word1 = rdd_word.flatMap(lambda x:x)
print(rdd_word1.collect(),'查看分词的结果')

第六步:过滤单词长度小于1的;  

#第六步 过滤单词长度小于1的,
rdd_fiflt = rdd_word1.filter(lambda x:len(x)>1)
print(rdd_fiflt.collect())

第七步:单词计数,转为kv结构,给每个单词后面计数为1

#第七步:单词计数 转为kv结构
rdd_tuple = rdd_fiflt.map(lambda x:(x,1))
print(rdd_tuple)

 

第八步:reduce规约,统计单词次数

#第八步,分组聚合
rdd_group = rdd_tuple.reduceByKey(lambda x,y:x+y)
print(rdd_group.collect())

 

第九步:排序,以单词出现的次数降序排序

#第九步,排序 降序
rdd_sort = rdd_group.sortBy(lambda x:x[1],ascending=False)
print(rdd_sort.collect())

 

第十步:输出前Top10的单词以及出现的次数

print(rdd_sort.take(10))

完整代码

# encoding=utf-8

import json
from pyspark import SparkContext
import jieba.posseg as pseg

sc = SparkContext()
#第一步,导入数据
rdd = sc.textFile('hdfs://node1:8020/baike_qa_valid.json')
# print(rdd.take(10))
#第二步,转json为字典
rdd_dict = rdd.map(lambda x:json.loads(x))
# print(rdd_dict.take(10))
#第三步,遍历每一行,根据键取值
rdd_title = rdd_dict.map(lambda x:x['title'])
# print(rdd_title.take(10))
# 过滤名词
def minci(title):
    words = pseg.cut(title)  #全部的分词
    nouns = []
    for word, flag in words:
        if flag.startswith('n'):  #如果是名词就放进去
            nouns.append(word)
    return nouns

#第四步 运用叽霸分词 把词分出来  我只保留名词哦~~
rdd_word = rdd_title.map(lambda x:minci(x))
# print(rdd_word.take(10))

#第五步 拉平列表
rdd_word1 = rdd_word.flatMap(lambda x:x)
# print(rdd_word1.collect(),'查看分词的结果')
#第六步 过滤单词长度小于1的,
rdd_fiflt = rdd_word1.filter(lambda x:len(x)>1)
# print(rdd_fiflt.collect())
#第七步:单词计数 转为kv结构
rdd_tuple = rdd_fiflt.map(lambda x:(x,1))
# print(rdd_tuple.collect())
#第八步,分组聚合
rdd_group = rdd_tuple.reduceByKey(lambda x,y:x+y)
# print(rdd_group.collect())
#第九步,排序 降序
rdd_sort = rdd_group.sortBy(lambda x:x[1],ascending=False)
# print(rdd_sort.collect())


# print(rdd.take(10))
# print(rdd_dict.collect())
# print(rdd_title.take(5))
print(rdd_sort.take(10))
'''
但是统计出来的 都是一些形容词 没啥意义  所以需要保留名词
'''
#[('什么', 7555), ('怎么', 4546), ('问题', 3090),
# ('请问', 2982), ('为什么', 2563), ('一个', 2492),
# ('可以', 2355), ('如何', 2331), ('现在', 2201), ('知道', 1993)]
'''
这是保留名词之后结果
[('问题', 3090), ('大家', 1243),
 ('宝宝', 1231), ('时候', 1224),
  ('电脑', 1184), ('谢谢', 1106), 
  ('游戏', 896), ('高手', 780), ('朋友', 740), ('老师', 615)]
'''

分析完毕之后,可以转出存储数据库,或者交给pandas,或者pyehcarts直接去做图

这里暂略

 谢谢观看~~~

四,总结

中文词频统计热门top10,需要注意的点

业务方面:

  • 形容词,比如什么,怎么,等等没啥意义,所以需要过滤掉
  • 单词数量小于1的,一个字的也没有什么意义,所以也需要过滤掉

技术方面:

  • 源数据是json数据,所以需要导入json模块,将其转为字典
  • 字典可以通过键取值
  • 取到的值在用分词器过滤
  • 过滤之后的数据在进一步筛选
  • 然后生成kv结构
  • 聚合并排序
  • 取top10

  • 学习：知识的初次邂逅
  • 复习：知识的温故知新
  • 练习：知识的实践应用
凡梦_leo
关注
专栏目录
经典案例【词频统计】十一种实现方式
howard2005的专栏
05-14 1191
一、利用Java程序实现词频统计； 二、利用scala程序实现词频统计； 三、利用Python程序实现词频统计； 四、利用akka和scala实现词频统计； 五、利用MapReduce来实现词频统计； 六、利用Hive实现词频统计； 七、利用Storm实现词频统计； 八、利用Spark RDD实现词频统计； 九、利用Spark SQL实现词频统计； 十、利用Spark Streaming实现词频统计； 十一、利用Flink实现词频统计
Spark-RDD算子大全
YoungITの博客
01-16 934
Spark RDD（弹性分布式数据集）是Spark中的核心抽象，它代表一个不可变、分区的分布式数据集合。下面是一些常用的RDD算子：map(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD。filter(func)：对RDD中的每个元素应用给定的函数，返回满足条件的元素组成的新的RDD。flatMap(func)：对RDD中的每个元素应用给定的函数并返回一个迭代器，将所有迭代器的元素组合成一个新的RDD。
Spark大数据分与实践笔记（第七章 Spark Streaming实时计算框架-02）
Lydia868的专栏
08-29 472
接下来,以实现网站热词排序为例外分析出用户对网站哪些词感兴趣或者不感兴趣，以此来增加用户感兴趣词的内容，减少不感兴趣词的内容,从而提升用户访问网站的流量。
Spark RDD算子案例：两种方式计算学生总分
Bejpse的博客
03-16 1831
文章目录 一、提出任务 二、准备工作 （一）启动HDFS服务 （二）启动Spark服务 三、实现步骤 （一）在Spark Shell里完成任务 （二）编写Scala程序完成任务 1、创建Maven项目 - `RDDDemo` 2、添加对hadoop、scala和spark的依赖 3、给Maven项目配置Scala SDK 4、创建`CalculateSum`单例对象 5、运行程序，查看结果 6、安装配置scala-2.12.14 7、更改项目使用的Scala SDK 8、将项目打成jar包
Spark RDD算子
weixin_61676991的博客
06-20 3009
​ reduceByKey()算子的作用对象是元素为(key,value)形式（Scala元组）的RDD，使用该算子可以将key相同的元素聚集到一起，最终把所有key相同的元素合并成一个元素。​ rightOuterJoin()算子的使用方法与leftOuterJoin()算子相反，其与数据库的右外连接类似，以右边的RDD为基准（例如rdd1.rightOuterJoin(rdd2)，以rdd2为基准），右边RDD的记录一定会存在。Spark会将RDD中的每个元素传入该函数的参数中。
Spark之RDD算子
柳小葱的博客
08-11 2078
今天出一期spark系列的硬货，即RDD算子，所谓算子，就是对某些事物的操作，或者说是方法。本期主要介绍几十个RDD算子，根据他们的特点，逐一进行介绍，有关spark的往期内容大家可以查看下面的内容????: 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之Dataframe基本操作. 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之核心架构. 记得我们前面说过，saprk存在着惰性评估的机制，所谓惰性评估，就是等到绝对需要时才执行计算。当用户表达
Spark算子实战:通过RDD转换统计出每一个省份广告被点击次数的TOP3案例
qq_43265673的博客
09-16 2324
1. 数据结构：时间戳，省份，城市，用户，广告，中间字段使用空格分割。 样本如下： 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 2. 需求：统计出每一个省份广告被点击次数的TOP3 3. 实现过程： package practice import org.apache.s...
Spark RDD算子详解
weixin_36040866的博客
02-07 3713
RDD转换算子及行动算子详细记录，附idea实操演练 转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...) 行动算子（Action）：触发任务的调度和作业的执行(collect)
Spark RDD 算子详解：实现原理与执行流程分析
Spark 1.4.1 RDD 算子详解 Spark RDD（Resilient Distributed Datasets）是 Apache Spark 中的一个基本数据结构，提供了一种基于内存的数据处理方式。RDD 算子是 Spark 中的一种基本操作单元，用于处理和转换 RDD ...
25个经典Spark算子的JAVA实现
08-16
根据给定文件的信息，本文将详细介绍25个经典Spark算子的Java实现，并结合详细的注释及JUnit测试结果，帮助读者更好地理解Spark算子的工作原理及其应用方式。 ### Spark算子简介 在Apache Spark框架中，算子是用于...
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
spark的学习-05
最新发布
qq_62984376的博客
11-11 579
结构化数据与非结构化数据结构化数据就类似于excel表中的数据（统计的都是结构化的数据）一般都使用sparkSql处理结构化的数据结构化的文件：JSON、CSV【以逗号分隔】、TSV【以制表符分隔】、parquet、orc结构化的表：数据库中表的数据：MySQL、Oracle、Hive我们在sparkcore中导入数据使用的是textFile，而在sparksql中怎么导入数据呢使用的是DataFrame进行数据的导入。
Spark本地模式安装
brucexia的专栏
11-07 493
前置环境安装参看此博文。
Spark中的shuffle
weixin_63297999的博客
11-06 1319
Spark Shuffle过程,Spark中有哪些shuffle【分类的】
Spark 新作《循序渐进 Spark 大数据应用开发》简介
老卫的技术站
11-11 435
循序渐进Spark大数据应用开发》结合作者一线开发实践，循序渐进地介绍了新版Apache Spark 3.x的开发技术。全书共10章，第1章和第2章主要介绍Spark的基本概念、安装，并演示如何编写最简单的Spark程序。第3章深入探讨了Spark的核心组件RDD。第4章讲解了Spark集群管理，帮助读者理解任务提交与执行的基本原理。第5章介绍了Spark SQL，这是处理结构化数据的基础工具。第6章展示了Spark Web UI，通过界面化的方式了解Spark集群运行状况。
Spark的Standalone集群环境安装
出发行进
11-06 1486
在虚拟机完成集群standalone模式的spark安装以及一个简单案例测试。
spark的学习-03
qq_62984376的博客
11-07 1281
方法：parallelize 并行的意思将一个集合转换为RDD。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值