数据分析·影评可视化分析

最新推荐文章于 2024-07-10 08:55:02 发布

mosan123

最新推荐文章于 2024-07-10 08:55:02 发布

阅读量5.7k

点赞数 5

本文链接：https://blog.csdn.net/Shuang_Mo/article/details/82078492

版权

本文介绍了如何抓取特定电影的影评数据，通过Python处理并进行可视化分析。首先，利用反爬策略抓取影评数据，存储为UTF-8编码的本地文件。接着，对数据进行处理，转换评分类型以便分组聚合。使用pyecharts绘制全国热力图，解决小城市缺失和颜色覆盖问题。同时，绘制折线图和柱状图，以及利用wordcloud和jieba库制作词云图，展示评论关键词分布。

摘要由CSDN通过智能技术生成

1. 抓取影评

一般影评网站都有反爬虫机制，而且每个网站的都不尽相同，所以需要采取一些手段并根据具体网站的情况来进行爬取，本文以my为例

df = pd.DataFrame(columns=['date', 'score', 'city', 'comment', 'nick'])
for i in range(1000):
    j = random.randint(1, 1000)
    print(str(i) + 'th '+'download page: ' + str(j))
    try:
        time.sleep(2)
        url = 'http://m.maoyan.com/mmdb/comments/movie/1216446.json?_v_=yes&offset=' + str(j)
        html = requests.get(url=url).content
        data = json.loads(html.decode('utf-8'))['cmts']
        for item in data:
            df = df.append({
  'date': item['time'].split(' ')[0],
                          'city': item['cityName'], 
                          'score': item['score'],
                          'comment': item['content'],
                          'nick': item['nick']}, ignore_index=True)
        with open('./filmreview/take-my-bro3.csv', 'a+', encoding='utf-8') as fhand:
            df.to