python 爬取豆瓣电影评论，并进行词云展示

最新推荐文章于 2024-08-08 16:43:27 发布
最新推荐文章于 2024-08-08 16:43:27 发布
阅读量1.2w 收藏 124
点赞数 14
分类专栏： python爬虫 文章标签： python爬豆瓣电影评论 词云图 python 爬取豆瓣电影评论 《我不是药神》
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiang12qiang12/article/details/81082675
版权
本文提供了一个Python爬虫示例，用于爬取豆瓣电影《我不是药神》的前10页评论，并利用爬取的数据生成了词云图，详细介绍了URL分析、评论爬取和词云展示的步骤。
摘要由CSDN通过智能技术生成

python 爬取豆瓣电影评论，并进行词云展示

本文旨在提供爬取豆瓣电影《我不是药神》评论和词云展示的代码样例
  • 1、分析URL
  • 2、爬取前10页评论
  • 3、进行词云展示

1、分析URL

我不是药神 短评
第一页url
https://movie.douban.com/subject/26752088/comments?start=0&limit=20&sort=new_score&status=P
第二页url
https://movie.douban.com/subject/26752088/comments?start=20&limit=20&sort=new_score&status=P
…
…
…
第十页url
https://movie.douban.com/subject/26752088/comments?start=180&limit=20&sort=new_score&status=P
分析发现每次变化的只是…strat=后面的数字，其他内容不变，可以以此遍历每一页的评论。

2、爬取前10页评论

# -*-coding:utf-8-*-
最低0.47元/天 解锁文章
风兮177
关注
专栏目录
爬取豆瓣电影的评论
sandy_star
11-23 1623
好久没有爬虫了，今天突然叫爬豆瓣，有点懵了，不过看了看以前爬的，一葫芦画瓢整了一个这个。bs4和requests yyds！ 分析一波 爬取的地址：https://movie.douban.com/subject/26588308/comments 每次翻页可以看到只和start有关，一页展示20条评论 下图是第二页的url，故第一页的start就是0 评论在span标签里面（class属性为short） 代码 import urllib.request from bs4 import .
python爬取豆瓣电影评论_使用Python抓取豆瓣影评数据的方法
weixin_39873325的博客
11-20 2013
抓取豆瓣影评评分正常的抓取分析请求的url里面有用的也就是start和limit参数，我尝试过修改limit参数，但是没有效果，可以认为是默认的start参数是用来设置从第几条数据开始查询的设计查询列表，发现页面中有url中的查询部分，且指向下一个页面于是采用下面的代码进行判断是否还有下一个页面if next_url:visit_URL('https://movie.douban.com/subj...
Python实现输入电影名字自动生成豆瓣评论词云图（带GUI界面）小程序
Q_U_A_R_T_E_R的博客
12-16 6224
一、项目背景 电影逐渐成为人们生活的不可或缺的一部分，而了解一部电影的可以通过电影评分与大众推荐度，但以上的方式都太过于片面，了解一部电影的方法是通过已经观看完电影的人群的反馈，虽然电影评分和大众推荐度在一定程度上是观影人群的反馈，但是并没有电影评论的反馈真实。评论对影视剧的好坏与特色可以更加充分的体现。所以了解一部影视作品的最好方式是通过评论。出于对评论的大量且参差不齐的考虑，通过出现的高频词来分析，是通过评论了解影视剧较为便捷的方式。将高频词整合，通过词云图是极好的方式。所以项目基于以上背景决定基于网络
Python入门必备知识总结（建议收藏再用）
最新发布
Python_trys的博客
08-08 1123
python 是一种面向对象的解释性计算机程序设计语言。python由荷兰人Guido van Rossum 于1989年发明。1991年，第一个Python编译器诞生。它是用C语言实现的，并能够调用C语言的库文件。从一出生，Python已经具有了：类，函数，异常处理，包含表和词典在内的核心数据类型，以及模块为基础的拓展系统。1994年1月 python 1.0诞生，增加lambda，map，filter and reduce1999年，python web的鼻祖 Zope 1 发布。
爬虫实战（1）| 爬取豆瓣电影评论
白痴式学习
04-03 5046
大家好，作为一名互联网行业的小白，写博客只是为了巩固自己学习的知识，但由于水平有限，博客中难免会有一些错误出现，有不妥之处恳请各位大佬指点一二！ 博客主页：链接: https://blog.csdn.net/weixin_52720197?spm=1018.2118.3001.5343 1.分析网址 第一页： 第二页： 第三页： 发现start值增加20 2.数据获取 import requests import pandas as pd import re import time import .
用Python爬取陈奕迅新歌《我们》10万条评论的新发现
Python中文社区
04-15 1695
编程狗编程大牛技术分享平台最近就有一部“怀旧”题材的电影，未播先火，那就是刘若英的处女作——《后来的我们》。青春，爱情，梦想，一直是“怀旧”题材的核心要素，虽然电影现在还未上映，但先行发布的主题曲《我们》，已经虐哭了不少人。在MV里，歌声清清浅浅，诉说着那些年关于爱情里的遗憾。“我最大的遗憾，就是你的遗憾，与我有关”，下面就一起来感受一下吧。这首歌是《后来的我们》中的主题曲，网易云音乐上线当天便席
爬取豆瓣电影短评并制作词云
06-23
在本项目中，我们将探索如何爬取豆瓣电影的短评数据并使用这些数据来创建一个词云图。词云是一种视觉表示文本数据的方式，通过这种方式，我们可以直观地看到哪些词汇在评论中出现得最频繁。以下是你需要了解的关键...
python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
weixin_39586683的博客
11-23 1187
def getHtml(url):"""获取url页面"""headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}req = urllib.request.Request(url,h...
python爬取豆瓣每个账户对电影的评分和影评，绘制评分饼图和影评词云图
04-14
（1）打开豆瓣一部电影评论区，根据html结构捕获三个信息： 一，每账号的评分等级为5星、4星、3星、2星、1星； 二，每个账号的评论留言； 三，跳转到下个评论页面的http链接 （2）获取所有的信息后对信息进行处理： 一，计算出每个星级的总数和一共多少账户进行了评级 二、将所有的评论内容放在一起，处理评论中的空格和其他不规范形式 （3）用matplotlib绘制评分等级占比的饼图，用jieba进行分词处理，用wordcloud生成词云图 同个修改url=https://movie.douban.com/subject/26430636/comments?start=0&limit=20&sort=new_score&status=P&percent;_type= 之中“26430636”为电影的代表，将其换做其他的编号就可以读取和生成其他电影的matplotlib和wordcloud制作评分图和词云图
python分析2022春节贺岁档电影并根据评论生成词云
04-23
Python 爬取豆瓣开分的电影评论，根据评论数据，我们再通过词云直观的感受一下。
Python爬取微博评论代码
04-26
给定微博id和爬取评论数量，爬取对应微博的评论，便于下一步的分词和词频统计
python爬取网易云音乐评论
09-19
主要为大家详细介绍了python爬取网易云音乐评论，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Python--爬取豆瓣影评①
qq_50505152的博客
12-04 5953
Python–爬取豆瓣影评① 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录Python--爬取豆瓣影评①前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示
Python--爬取豆瓣影评②
qq_50505152的博客
12-04 1791
Python–爬取豆瓣影评②并保存在本地 提示： ①.本文只提供能爬取豆瓣所有页的内容。若需要对爬取后的内容分析，做成词云图，请看“ Python–爬取豆瓣影③” ②.本文可爬取阿甘正传的观影影评，若您需要爬取别的电影影评，需要修改爬取的url以及url的规律（但是规律一般一致）。 ③.本文不做任何教学，只将代码附上，有需要学习的或者借鉴的从代码中自行学习！，介意勿看。 完整代码附上 """ 1.爬取豆瓣的短影评 ----阿甘正传 2.保存在本地. -------- 加入cookie信息，可爬取任意评论
python爬取豆瓣电影评论_我用Python爬取了豆瓣的影评
weixin_39979617的博客
11-23 704
使用Python爬取豆瓣的影评，比爬取网易云简单，因为不需要设置特定的headers，关于网易云说几句，很难爬取，对请求头有着严格的要求，前几年那会还好些。爬取结果分为：用户名，评价的星级，评论的内容以后可能会通过评价的星级绘制一个饼图之类的可视化图表，算是一个基础的爬虫和分析吧！代码如下：import osimport requestsfrom lxml import etree# 设置头部信息...
python爬取豆瓣电影评论_Python爬取豆瓣电影的短评数据并进行词云分析处理
weixin_39682944的博客
11-20 1062
原标题：Python爬取豆瓣电影的短评数据并进行词云分析处理 前言对于爬虫很不陌生，而爬虫最为经典的案例就是爬取豆瓣上面的电影数据了，今天小编就介绍一下如果爬取豆瓣上面电影影评，以《我不是药神》为例。基本环境配置版本：Python3.6系统：Windows本人对于Python学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习Python。欢迎各位到来Python学习群：9604...
Python爬虫之豆瓣电影评论数据的爬取（十四）
热门推荐
Blessy_Zhu的博客
04-10 3万+
爬取豆瓣网上面的电影评论数据具有很重要的作用。电影评论数据是NLP（自然语言处理）重要的数据。通过电影评论数据集可以进一步做中文分词、命名实体识别、关键词提取、句法分析、文本向量化、情感分析、舆情分析等进一步的数据处理和应用。既然数据这么重要，废话不多说，紧接着就开始电影数据的爬取。
评论 31
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值