Python分析《孤注一掷》豆瓣评论数据，看看它为什么值得看？

本文链接：https://blog.csdn.net/python56123/article/details/132381554

目录标题

前言

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

有需要python源码/安装包/教程/电子书/资料等 点击此处跳转文末名片免费获取

环境使用

Python 3.8 解释器
Pycharm 编辑器

所需模块

import parsel >>> pip install parsel
import requests >>> pip install requests
import csv

代码实现步骤:

基本四大步骤 --> 发送请求,获取数据,解析数据,保存数据

发送请求, 模拟浏览器对于url地址发送请求

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score
获取数据, 获取服务器返回响应数据

开发者工具 --> response
解析数据, 提取我们想要的数据内容

评论相关数据
保存数据, 把数据内容保存表格文件里面

评论数据获取

发送请求, 模拟浏览器对于url地址发送请求

返回<Response [200]>表示请求成功

# 请求链接
url = f'https://movie.douban.com/subject/35267224/comments?start=20&limit=20&status=P&sort=new_score'
# 伪装模拟
headers = {
    # User-Agent 用户代理, 表示浏览器基本身份标识
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
# 发送请求
response = requests.get(url=url, headers=headers)
print(response)

解析数据

解析方法:

正则re --> 直接对于字符串数据进行解析
css选择器 --> 根据标签属性提取数据
xpath节点提取 --> 根据标签节点提取数据

把获取下来html字符串数据 <response.text>, 转成可解析对象

selector = parsel.Selector(response.text) 
# 第一次提取, 所有div标签
divs = selector.css('div.comment-item')
# for循环遍历, 把列表里面元素一个一个提取出来
for div in divs:
    name = div.css('.comment-info a::text').get()  # 昵称
    rating = div.css('.rating::attr(title)').get()  # 推荐
    date = div.css('.comment-time::attr(title)').get()  # 时间
    area = div.css('.comment-location::text').get()  # 地区
    votes = div.css('.votes::text').get()  # 有用
    short = div.css('.short::text').get().replace('\n', '')  # 评论
    # 数据存字典里面
    dit = {
        '昵称': name,
        '推荐': rating,
        '时间': date,
        '地区': area,
        '有用': votes,
        '评论': short,
    }
    # 写入数据
    print(name, rating, date, area, votes, short)

保存数据

data.csv --> 文件名
mode=a --> 保存方式追加保存
encoding=‘utf-8’ --> 编码格式
newline --> 换行符
f --> 文件对象

f = open('data10.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '昵称',
    '推荐',
    '时间',
    '地区',
    '有用',
    '评论',
])
# 写入表头
csv_writer.writeheader()

分析评论数据

导入模块

import pandas as pd
import jieba
import wordcloud

读取数据

df = pd.read_csv('data10.csv')
df.head()

推荐分布

import pyecharts.options as opts
from pyecharts.charts import Pie

data_pair = [list(z) for z in zip(evaluate_type, evaluate_num)]
data_pair.sort(key=lambda x: x[1])

c = (
    Pie(init_opts=opts.InitOpts(bg_color="#2c343c"))
    .add(
        series_name="豆瓣影评",
        data_pair=data_pair,
        rosetype="radius",
        radius="55%",
        center=["50%", "50%"],
        label_opts=opts.LabelOpts(is_show=False, position="center"),
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(
            title="推荐分布",
            pos_left="center",
            pos_top="20",
            title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
        ),
        legend_opts=opts.LegendOpts(is_show=False),
    )
    .set_series_opts(
        tooltip_opts=opts.TooltipOpts(
            trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
        ),
        label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
    )
)
c.render_notebook()

地区分布

import pyecharts.options as opts
from pyecharts.charts import Pie

data_pair = [list(z) for z in zip(area_type, area_num)]
data_pair.sort(key=lambda x: x[1])

d = (
    Pie(init_opts=opts.InitOpts(bg_color="#2c343c"))
    .add(
        series_name="豆瓣影评",
        data_pair=data_pair,
        rosetype="radius",
        radius="55%",
        center=["50%", "50%"],
        label_opts=opts.LabelOpts(is_show=False, position="center"),
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(
            title="地区分布",
            pos_left="center",
            pos_top="20",
            title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
        ),
        legend_opts=opts.LegendOpts(is_show=False),
    )
    .set_series_opts(
        tooltip_opts=opts.TooltipOpts(
            trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
        ),
        label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
    )
)
d.render_notebook()