Python-爬取影评 开启观影新方式！

最新推荐文章于 2021-06-10 20:21:58 发布
最新推荐文章于 2021-06-10 20:21:58 发布
阅读量1k 收藏 10
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43881394/article/details/106524229
版权
本文介绍如何使用Python高效快速地爬取豆瓣电影《立春》的影评，通过查找链接、分析源码规律，利用正则表达式提取内容，并将影评保存到CSV文件，最后生成词云，提供完整代码。
摘要由CSDN通过智能技术生成

 

先来看一下成果图：

 

下来我们就详细讲解一下如何高效快速完成爬取任务，文末附完整代码。

 

 

1、查找电影链接

在豆瓣网找到你想爬取的电影的链接(以《立春》为例)，链接为：

https://movie.douban.com/subject/3036997/reviews?start=0

 

 

2、寻找网页源码规律

通过检查源码发现其隐藏规律！

 

 

3、正则表达式提取影评

按检查网页可发现，所有的文字都放在了一个content的div标签中；这样就很方便我们来提取！

 

4、保存本地

既然都爬取的，如果不保存本地的话那将毫无意义。首先我们可以创建一个文件夹：

最低0.47元/天 解锁文章
爬遍天下无敌手
关注
[超详细] Python3爬取豆瓣影评、去停用词、词云图、评论关键词绘图处理
独自优秀的数据分析师
06-13 4270
爬取豆瓣电影《大侦探皮卡丘》的影评，并做词云图和关键词绘图 第一步：找到评论的网页url。 https://movie.douban.com/subject/26835471/comments?start=0&limit=20&sort=new_score&status=P 第二步：鼠标放在评论上右键检查，分析源代码，确定抓取的内容。 <span class="sh...
豆瓣电影名称类别评分时长评论年份爬取主函数
10-10
豆瓣电影名称类别评分时长评论年份爬取主函数
Python爬取《哆啦A梦-伴我同行2》影评，手把手带你绘制词云图！
数据分析与统计学之美
06-01 8599
Python爬取《哆啦A梦-伴我同行2》影评
python爬虫（豆瓣影评）
trb331617的博客
06-03 1389
python爬虫（豆瓣影评）
利用Python爬取豆瓣影评
weixin_43602104的博客
08-16 2100
Python爬虫学习3利用Python爬取豆瓣影评一、查找短评存放的标签二、爬取影片短评具体代码 利用Python爬取豆瓣影评 一、查找短评存放的标签 二、爬取影片短评具体代码 # _*_ coding:UTF-8 _*_ import os import requests import time from bs4 import BeautifulSoup import sys import ...
Python2.7 爬虫实践：豆瓣电影影评分析
funfun0的专栏
08-29 1991
reference from ：hang segmentfault.com/a/1190000010473819 本人先看到以上，觉得挺好玩，所以就跟着原作者的思路在撸一遍代码 后来发现了几个问题 本人的python 2.7 原作者为python3 所以其中的一些funtion/属性 也不支持 所以做了一下修改 安装必要的lib 之后会有文章进
基于Python实现的豆瓣电影爬虫采集与分析可视化设计毕业源代码+文档说明+sql文件
最新发布
11-13
并以词云图、直方图以及网页动态图的形式将其直观展线给用户，从而分析用户观影偏好以及为用户选择影片时提供一定的参考。 -------- <项目介绍> 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传...
Python爬取豆瓣短评
Percy1993的博客
01-03 1732
豆瓣短评.py from multiprocessing import Process #多进程 import threading #多线程 from lxml import etree import requests import time import random import ciyun as cy # //*[@id="comments"]/div[1]/div[2]/h3/s...
爬虫实战之《流浪地球》豆瓣影评分析（一）
kangzinian的博客
04-05 3840
1. 背景与挖掘目标 豆瓣（douban）是一个社区网站。网站由杨勃（网名“阿北”） 创立于2005年3月6日。该网站以书影音起家，提供关于书籍、电影、音乐等作品的信息，无论描述还是评论都由用户提供（User-generated content，UGC），是Web 2.0网站中具有特色的一个网站。 网站还提供书影音推荐、线下同城活动、小组话题交流等多种服务功能，它更像一个集品味系统（读书、电影、...
python抓取新浪微博数据
04-08
python作为人工智能或者大数据的宠儿，我自然要学习，作为一个小白，第一个实现的工能就是爬虫，爬数据，收集数据，我以我爬微博的事情为例子，附上代码，大家一起学习
爬取移动端微博信息 简易Python代码
11-13
新浪微博信息丰富，适合用来做分析，用Python网络爬虫工具进行微博信息的获取是一种行之有效的方法，（附赠移动端代码），全亲自实践，希望多多交流，共同学习
python3.7 requests模拟新浪微博登录
04-21
python3.7 使用requests库模拟新浪微博登录。由于新浪对于用户账号和密码使用特殊加密，此程序使用base64对用户名进行编码和rsa2对password进行编码，亲测完成登录。
python爬取豆瓣影评
k_koris的博客
10-29 5799
看的别人的代码 爬取某部影片的影评 没有模拟登录只能爬6页 # -*- encoding:utf-8 -*- import requests from bs4 import BeautifulSoup import re import random import io import sys import time # 使用session来保存登陆信息 s = requests.sess...
用requests 爬取豆瓣书评的评论
weixin_30595035的博客
07-07 308
1 import requests 2 3 4 url ="https://book.douban.com/subject/1084336/comments/" 5 response = requests.get(url) 6 r = response.text 7 8 from bs4 import BeautifulSoup 9 soup = Bea...
一篇文章教会你使用Python定时抓取微博评论
whyrookie的博客
06-05 172
【Part1——理论篇】 试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。 但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。 接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓取评论的微博，打开浏览器自带流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。 之后点击“参数”选项卡，可以看到参数为下图所示...
豆瓣影评信息爬取
Jepson的博客
04-08 2414
爬取豆瓣影评信息
词云---利用python对电影评价的爬取
cgs的博客
01-03 1136
转自：https://www.cnblogs.com/qq1141100952com/p/8906070.html  在其基础上做了一点点改动   爬取豆瓣《白日焰火》评论词云效果图： 所需文件如下图： 其中alice_mask.png随便找一张图片即可，stopwords.txt自行百度搜索下载，1.py代码如下： # -*- coding: utf-8 -*- impo...
Python爬虫---影评的爬取
qq_45679541的博客
06-10 4756
Python爬虫—影评的爬取 介绍：爬虫练手，使用Requests库进行豆瓣影评的爬虫，做成词云图，写文章主要做一些问题解决的记录。 关于在豆瓣爬取影评内容，就不太多叙述，推荐看一个B站up的视频，简单易懂 视频链接 目录Python爬虫---影评的爬取项目准备项目代码遇到的问题及解决方法1.安装worldcloud库遇到问题2.安装其他第三方库遇到问题3.bs4.FeatureNotFound:找不到具有您请求的功能的树生成器：lxml。您需要安装解析器库吗？4.文件编码格式问题5.ImportError
python爬取知乎问题_Python-爬取知乎某个问题下的所有回答
06-11
需要使用Python编程语言来爬取知乎问题下的所有回答。具体步骤如下： 1. 首先需要安装Python的requests和beautifulsoup4库，用于发送HTTP请求和解析HTML页面。 2. 获取知乎问题页面的URL，可以手动复制粘贴，或者使用爬虫自动获取。 3. 使用requests库发送GET请求，获取知乎问题页面的HTML源代码。 4. 使用beautifulsoup4库解析HTML源代码，获取所有回答的信息。 5. 对每个回答进行解析，获取回答的文本、作者、点赞数、评论数等信息。 6. 将获取到的信息存储到本地文件或数据库中。 下面是一段示例代码，可以爬取知乎某个问题下的所有回答： ```python import requests from bs4 import BeautifulSoup # 知乎问题页面的URL url = 'https://www.zhihu.com/question/xxxxxx' # 发送GET请求，获取页面HTML源代码 response = requests.get(url) html = response.text # 解析HTML页面，获取所有回答的信息 soup = BeautifulSoup(html, 'html.parser') answers = soup.find_all('div', class_='List-item') # 遍历每个回答，解析并存储信息 for answer in answers: # 解析回答文本、作者、点赞数、评论数等信息 text = answer.find('div', class_='RichContent-inner').get_text() author = answer.find('div', class_='ContentItem-head').get_text() upvotes = answer.find('button', class_='Button VoteButton VoteButton--up').get_text() comments = answer.find('button', class_='Button ContentItem-action Button--plain Button--withIcon Button--hoverCard').get_text() # 将信息存储到本地文件或数据库中 with open('answers.txt', 'a', encoding='utf-8') as f: f.write(f'{author}\n{text}\n赞同数：{upvotes} 评论数：{comments}\n\n') ``` 需要注意的是，爬取知乎数据属于个人行为，需要遵守知乎的相关规定，不得用于商业用途。另外，爬取速度也需要适当控制，避免给服务器造成过大的负担。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值