使用scrapy爬取猫眼电影信息多次后需要验证

最新推荐文章于 2024-04-24 16:55:30 发布
最新推荐文章于 2024-04-24 16:55:30 发布
阅读量2.1k 收藏 5
点赞数 2
分类专栏： 心得分享 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljhsq/article/details/114481713
版权

爬虫

项目场景：

使用scrapy爬取猫眼电影的相关信息

问题描述：

项目运行后，红字日志部分出现了下列内容

2021-03-07 12:39:01 [scrapy.downloadermiddlewares.redirect] 
DEBUG: Redirecting (302) to <GET https://verify.maoyan.com/
verify?redirectURL=https%3A%2F%2Fmaoyan.com%2Ffilms&requestC
ode=9aab1b3f93a15007eefcd0b6f691c511mllb5> from <GET https:/
/maoyan.com/films?offset=30>

即出现了一个网址，且并没有进行预定的打印操作

https://verify.maoyan.com/verifyredirectURL=https%3A%2F%2Fmaoyan.com%2Ffilms&requestCode=9aab1b3f93a15007eefcd0b6f691c511mllb5

原因分析：

猫眼电影每过一段时间就要重新验证一下，防止频繁操作

解决方案：

进入上述的网址滑动验证即可
在这里插入图片描述

此杭非彼航
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
（伪）Python爬取猫眼电影（反反爬虫过程中遇到的坑）
Enderman_xiaohei的博客
11-17 4380
Python爬取猫眼电影 1.打开一个猫眼电影的URL，例如本月的较火的电影《毒液：致命守护者》http://maoyan.com/films/42964 直接F12，查看审核元素，发现上面的数据都是方框无法正确显示 选择Network，刷新之后，选择第一个42964，查看右侧Preview 也是无法显示，这就是反爬虫策略，主要爬取网上也有很多教程可供参考，我就贴几个 他们都写得非常好，...
猫眼爬虫-验证码解决问题
广志大兄弟的博客
07-11 5332
最近猫眼可能发现了我这篇博客，把验证码关闭了，皆大欢喜。 而且爬虫开始肆无忌惮起来，有的时候都503 了   ------------------------------------------------------   众多帖子中，都拿猫眼来做爬虫，爬虫内容都大同小异的，这个说猫眼的数字编码有门道，那个说猫眼TOP100数据随便拿。或者就是猫眼专业版的信息怎么获取，但是真正的猫眼网站...
Scrapy爬虫中处理重定向(301\302)问题
最新发布
weixin_60770989的博客
04-24 310
自定义下载中间件可以让我们在遇到重定向时重新发起请求。# 当状态码为301或302时，重新发起请求# 其他状态码直接返回响应。
关于scrapy的验证码处理
triangle的技术博客
04-23 3003
之前用scrapy爬取网页时经常出现需要验证码，但是返回的是个response对象，不知道要如何进行破解。 以往都是selenium进行截图验证码，模拟拖动，但是scrapy在yield请求后就直接走了，不知道如何下手。 百度了一圈，后面发现原来大家都是靠中间件来完成突破验证码的 首先经过爬虫的话，要处理请求的话应该调用 DownloaderMiddleware里的process_req...
selenium+opencv解决猫眼电影排行榜带缺口滑动验证码问题
热门推荐
Yy_Rose的博客
12-05 1万+
文中提供网页源码中获取不到原图的带缺口的滑动验证码，如何获取到原图的思路，可供参考
如何利用 C# + Python 破解猫眼电影的反爬虫机制？
老马的程序人生
04-11 4805
在 如何利用 C# 爬取「猫眼电影：最受期待榜」及对应影片信息！ 这篇图文中可以看到猫眼电影对“本月新增想看人数” 和 “总想看人数”进行了字符集加密。 在 如何利用 C# 爬取「猫眼电影：国内票房榜」及对应影片信息！ 这篇图文中也可以看到猫眼电影对“实时票房” 和 “总票房”进行了字符集加密。 破解这种利用字符集加密的反爬虫机制，需要建立映射关系表，找到每个字符对应的真实数字即可。怎么做呢？...
python3 网络爬虫开发实战 猫眼top100
biziwaiwai的博客
02-15 884
我发现自己没有整理和总结的习惯，有时是学了之后觉得会了，懒得整理，有时是没有时间，偶尔有时候想起来会写一篇。但是后来发现忘的还是挺快的，而且想找以前的东西的时候总是不太方便。不过人生在世，总要给这个世界留下点什么。把自己在学习中得到的东西，所思所想都记录下来，所以在此立个flag【狗头】，养成总结和写作的习惯=-=。 最近在看崔庆才老师的python3网络爬虫开发实战爬取猫眼top100的电影信息...
Python利用Scrapy框架爬取豆瓣电影示例
09-18
主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
Scrapy框架的使用之Scrapy爬取新浪微博
02-24
本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至MongoDB。请确保前文所讲的代理池、Cookies池已经实现并可以正常运行，安装Scrapy、...
doubanscrapy:CSDN博客scrapy爬取豆瓣电影的开源代码，使用scrapy框架爬取豆瓣电影
03-23
“doubanscrapy”项目是一个使用Python的Scrapy框架开发的豆瓣电影信息爬虫。它涵盖了Python编程、网页抓取、数据解析、开源软件实践等多个IT领域的知识点，对于学习和理解网络爬虫的实现以及Scrapy框架的使用具有很...
猫眼微信小程序源码.zip
07-13
猫眼微信小程序源码.zip
Python网络爬虫入门篇
m0_59485658的博客
11-22 990
学习者需要预先掌握Python的数字类型、字符串类型、分支、循环、函数、列表类型、字典类型、文件和第三方库使用等概念和编程方法。
猫眼爬虫三-终极篇：破解滑动验证，动态字体加密
qq_42105477的博客
01-29 6588
前面两节我们对猫眼网站进行了爬取，中间，我们会遇到各种反爬虫，包括滑动验证和字体加密等等，今天，我们就对这些反爬虫进行一一破解，实现猫眼网站的全信息爬取！ 1、滑动验证：滑动验证类似于极验证（滑块验证，电脑的B站登陆要滑动的哪个），但是原理不一样，目前来说，12306的相关抢票的脚本已经实现了自动加载滑块滑动，但大多数情况还得手动，在这里也是。 破解流程： 1、先尝试着获取数据，如果遇到爬取链接与...
python爬虫遇到验证页面
qq_52025594的博客
01-14 676
在练习爬虫的时候爬取一个网页的源码遇到了一个这样的问题！ 一开始搞了好久，想着总不能在写个自动拖验证码的脚步吧，这我也不会啊，本来我以为是我的ua伪装的不好。浏览器发现了，于是我写了个随机ua的heads import urllib.request,urllib.error from fake_useragent import UserAgent def askURL(URL): heads = { "User-Agent": str(UserAgent().random
爬取猫眼电影的top100
qq_41171629的博客
12-20 309
打开网页获取top100的链接 第一块模块：获取网页的源代码，这里引入了一个request的一个处理异常的包 from request.exceptions import RequestExceptions。用来处理异常处理 解析网页，并获取网页的内容信息parse_one_page,用到的方法是正则匹配，.?的作用是匹配字符串，（.?）非贪婪匹配。compile进行匹配，findall进行获取...
Python爬虫重定向问题scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302)
weixin_41586246的博客
09-07 925
爬虫重定向问题
【Scrapy】301、302重定向问题原因及解决办法
xiangxiang613的专栏
02-26 7133
Scrapy的301、302重定向问题原因及解决办法 根据 HTTP标准 ，返回值为200-300之间的值为成功的response。 Scrapy运行爬虫过程中，目标网站返回301或302，而没有获取到想要的网页内容，表示请求失败。eg： 2019-02-13 17:18:32 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2019-02-13 17:18:33 [scrapy.downloaderm
scrapy爬取猫眼电影详细数据代码
05-27
好的，这里是使用Scrapy爬取猫眼电影详细数据的代码： ```python import scrapy class MaoyanSpider(scrapy.Spider): name = 'maoyan' allowed_domains = ['maoyan.com'] def start_requests(self): url = 'https://maoyan.com/films?showType=3' yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): movies = response.xpath('//div[@class="movie-item-hover"]') for movie in movies: movie_url = movie.xpath('./a/@href').extract_first() yield scrapy.Request(url=response.urljoin(movie_url), callback=self.parse_detail) def parse_detail(self, response): movie = {} movie['title'] = response.xpath('//h1/text()').extract_first().strip() movie['category'] = response.xpath('//li[contains(text(),"类型")]/a/text()').extract_first().strip() movie['release_date'] = response.xpath('//li[contains(text(),"上映时间")]/text()').extract_first().strip() movie['score'] = response.xpath('//span[@class="stonefont"]/text() | //span[@class="score-num"]/text() | //div[@class="score"]/span/text()' ).extract_first().strip() movie['actors'] = response.xpath('//li[contains(text(),"主演")]/a/text()').extract() movie['box_office'] = response.xpath('//li[contains(text(),"累计票房")]/span/text()').extract_first() yield movie ``` 解释一下代码： 1. 在`start_requests`方法中，指定了要爬取的页面，并调用`parse`方法； 2. 在`parse`方法中，使用XPath选取每个电影的链接，并发送请求，通过`callback`指定要调用的函数`parse_detail`； 3. 在`parse_detail`方法中，使用XPath选取详细信息，并将结果存入字典`movie`中，最后使用`yield`返回字典。注意：由于不同电影页面上的评分信息的XPath路径可能不同，所以这里使用了3个不同的XPath路径，以保证能够正确选取评分信息。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值