【爬虫+数据清洗+数据分析+数据可视化】“淄博烧烤”热评舆情分析Python可视化大屏

最新推荐文章于 2024-06-29 15:26:09 发布

python死忠3016

最新推荐文章于 2024-06-29 15:26:09 发布

阅读量1.5k

点赞数 27

分类专栏： python数据分析文章标签： python 数据分析数据可视化

本文链接：https://blog.csdn.net/m0_70951616/article/details/137371082

版权

一、开发背景

自从2023年3月以来，"淄博烧烤"现象持续占领热搜流量，体现了后疫情时代众多网友对人间烟火气的美好向往，本现象级事件存在一定的数据分析实践意义。

静态截图：
大屏截图

动态演示：
【大屏演示】Python可视化舆情大屏「淄博烧烤」

二、爬虫代码

2.1 爬微博列表

通过m端的搜索页面，爬取以"淄博烧烤"为关键词的微博id，获取到微博id的目的，是传给评论爬虫。

发送请求部分：

# 请求地址
url = 'https://m.weibo.cn/api/container/getIndex'
# 请求参数
params = {
   
    "containerid": "100103type=60&q={}".format(v_keyword),
    "page_type": "searchall",
    "page": page
}
# 发送请求
r = requests.get(url, headers=headers, params=params)

注意，type=60代表"热门"，如下：
m端微博

解析数据部分：

# 解析json数据
cards = r.json()["data"]["cards"]
print('微博数量：', len(cards))
for card in cards:
    # 微博id
    id_list = card['mblog']['id']
    id_list_list.append(id_list)

至此，已经获取到以「淄博烧烤」为关键词的微博id列表 id_list_list 了。

2.2 爬微博评论

从2.1章节获取到微博id列表之后，传入爬取微博评论函数 get_comments
这部分爬虫讲解可移步：
【2023微博评论爬虫】用python爬上千条微博评论，突破15页限制！

最终，爬取到的微博评论数据，示例如下：
淄博烧烤-微博评论

说明：无论微博搜索页，还是微博评论页，都可以自定义设置max_page，满足自己的个性化数据量要求。

2.3 导入MySQL数据库

最核心的三行代码：

# 读取csv数据
df = pd.read_csv('去重后_' + comment_file)
# 把csv数据导入MySQL数据库
df.to_sql(name='t_zbsk', con=engine, chunksize=1000, if_exists='replace', index=False)
print('导入数据库完成！')

用create_engine创建数据库连接，格式为：

create_engine(‘数据库类型+数据库驱动://用户名:密码@数据库IP地址/数据库名称’)

这样，数据库连接就创建好了。

然后，用pandas的read_csv函数读取csv文件。

最后，用pandas的to_sql函数，把数据存入MySQL数据库：

name=‘college_t2’ #mysql数据库中的表名
con=engine # 数据库连接
index=False #不包含索引字段
if_exists=‘replace’ #如果表中存在数据，就替换掉

非常方便地完成了反向导入，即：从csv向数据库的导入。

这个部分的讲解视频：
仅用Python三行代码，实现数据库和excel之间的导入导出！

三、可视化代码

3.1 大标题

由于pyecharts组件没有专门用作标题的图表，我决定灵活运用Line组件实现大标题。

首先，找到一张星空图作为大屏背景图：

然后，在Line组件中加入js代码，加载背景图：

# 设置背景图片
line3.add_js_funcs(
    """
    var img = new Image(); img.src = './static/bg2.png';
    """
)

大标题效果如下：
最上方的大标题

3.2 词云图（含：加载停用词）

绘制词云图，需要先进行中文分词。既然分词，就要先设置停用词，避免干扰词影响分析结果。
这里采用哈工大停用词作为停用词词典。

# 停用词列表
with open('hit_stopwords.txt', 'r') as f:
    stopwords_list = f.readlines()
stopwords_list = [i.strip() for i in stopwords_list]

这样&

最低0.47元/天解锁文章