爬虫练习-爬取新浪微博信息并生成词云图

本文链接：https://blog.csdn.net/weixin_44835732/article/details/104164747

本文介绍如何使用Python爬取移动端新浪微博的‘战疫情’版块信息，涉及requests、json、jieba和wordcloud库。通过分析网页结构，获取异步加载的JSON数据，再利用jieba分词，最后生成词云图。完整代码包含在内。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言：
1.分析爬取对象
2.分析网页结构
3.获取下一页的数据
4.生成词云图
效果图
完整代码

前言：

爬取新浪微博 “战疫情” 版块微博信息，并将信息内容存储为文本格式，且生成相应的词云图。该爬虫使用的一些技术：

requests，对网页请求
json，解析网页返回的数据
jieba，对中文文本进行分词
wordcloud，生成词云图

环境：
Python3（Anaconda3）
PyCharm
Chrome浏览器

1.分析爬取对象

前人栽树，后人乘凉。有前辈指出移动端要比PC端好爬取，所以我们爬取移动端微博。如下是两个网址的区别。

PC端微博，https://weibo.com/
在这里插入图片描述
移动端微博，https://m.weibo.cn/

2.分析网页结构

打开开发者工具（F12），分析移动端微博的网页结构。

没有分页条，通过滑动侧边进度条加载数据，很明显是通过异步加载实现的。我们前去查看开发者工具中Network板块的XHR文件，记得刷新一下网页。

我们发现箭头所指的文件返回了json格式的微博内容。
在这里插入图片描述
至此，我们需要获取如下两个信息
1.请求该信息的URL。

2.json数据中，微博内容的路径，点击Preview可以更好的查看json内容。

获取json数据的代码写成了一个 get_info() 的函数，如下

# 创建TXT文件
f = open('./weibo.txt', 'a+', encoding='utf-8')

# 定义获取信息的函数
def get_info(url):
    rs = requests.get(url=url, headers=headers, timeout=3,cookies=cookies)
    print(url, rs)
    json_data = json.loads(rs.text)

    results = json_data['data']['statuses']
    for result in results:
        text = re.sub('<.*?>', '', str(result