Scrapy使用隧道代理403问题解决方案

于 2021-02-03 17:09:56 发布
阅读量9.2w 收藏 19
点赞数 6
分类专栏： # 快代理使用常见问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kdl_csdn/article/details/113611723
版权

scrapy使用隧道代理不换IP

客户现象
快代理隧道代理客户反馈使用隧道代理没有换IP，原因是使用了隧道代理但是目标网站还是403，跳验证码屏蔽等等，用户推断隧道没有更换代理IP

反爬研究
询问用户访问的网站是https://book.douban.com/，豆瓣读书
https://book.douban.com/subject/35313246/?icn=index-latestbook-subject，35313246应该为book的id，需要访问那本书直接更换id即可

自己编写一个scrapy项目，不使用代理访问200个图书页面，发现前期响应状态为200，即可以爬取到页面，不一会就会出现大量的403状态码，即被防爬了

此时点开任意一个book页面，跳转https://sec.douban.com/b?r=https%3A%2F%2Fbook.douban.com%2Fsubject%2F35315077%2F%3Ficn%3Dindex-latestbook-subject，显示IP被封，需要登陆豆瓣，可以推断出豆瓣是以IP做爬虫监控的

同时我在用户的请求记录中发现了大量sec.douban.com访问记录，可以推断出用户在使用代理的过程中，大量请求会被ban掉
在这里插入图片描述
于是在scrapy中使用隧道代理，发现前期同样的请求都是200，可以拉下来页面，在爬取了一会后就会出现大量的302，403状态码，基本复现了用户场景
在这里插入图片描述
在这里插入图片描述
点开跳转的页面https://www.douban.com/misc/sorry?original-url=https%3A%2F%2Fbook.douban.com%2Fsubject%2F35313579%2F%3Ficn%3Dindex-latestbook-subject
在这里插入图片描述
发现同样是反爬的页面，所以问题就来了，为什么使用的隧道代理依然会被反爬？

隧道代理自身问题研究
首先根据用户的猜测，我怀疑有可能是IP重复率问题，即某一段时间集中转发在一个IP上，导致重复率很大，这一点测试得出

对于基础规格1s5次的隧道而言，1分钟内访问隧道的次数为300次，查询一分钟内访问次数在300次的隧道访问记录查看得出规格为1s5次，动态版的隧道在一分钟内访问了298次，其中275次都为不重复的代理IP，及重复率为7%-8%左右，可以说在一分钟内都会分配给不重复的IP

这时有人可能会说五分钟呢？，10分钟内呢？不过我写的scrapy项目中200个请求在一分钟内早已经跑完了，所以采用1分钟是有参考意义的

既然隧道代理每次都是更换了代理IP的，并且重复率完全达不到目标网站触发防爬跳转验证的程度，所以排除隧道本身问题

请求客户端框架研究
首先解析出隧道域名的IP地址

利用wireshark进行抓包 ip.addr 的数据包

继续挂上隧道代理运行请求200次，查看数据包，查看所有的http数据包
在这里插入图片描述
在这里插入图片描述

发现发送了起码200个，建立的连接只有是十个左右，200多个请求都只走了十几个连接，导致运行过程中会有403 302跳转登陆等等

之前已经知道了加上Connection: close头就就可以，实际测试确实是每个请求都会建立连接，为什么加close就可以了呢？

Scrapy 是一套基于基于Twisted的异步处理框架，通过查看Twisted源码可以看到

/twisted/web/_newclient.py中

实现的http1.1协议

class HTTP11ClientProtocol中的 _finishResponse_WAITING方法
在这里插入图片描述

如果在connection 显示的指定为close，在结束response后会giveup，当不添加Connection: close这个header是，则默认为keep-alive,走resumeProducing()会将连接给请求的生产者
在这里插入图片描述

通过debug也认证了之前的猜想
在这里插入图片描述

CSDN上有一篇博客记录了这个问题 https://blog.csdn.net/bf96163/article/details/111571803

request.headers['Proxy-Connection'] = "close" request.headers["Connection"] = "close"

博客中提到需要加这两个header，其实不然，通过看源码发现只需要request.headers[‘Connection’] = “close” 就可以了

总结
使用隧道代理要添加header Connection: close （代码样例已经发布）
反爬的可能的原因有很多，需要具体问题具体分析!

获取更多好文章，可以关注~
在这里插入图片描述

K哥爬虫
关注
专栏目录
博客
当爬虫工程师遇到 CTF丨2021 年 B 站 1024 安全攻防题解
10-23 6212
文章目录第一题：加密解密第五题：APP 逆向总结最近看到哔哩哔哩上线了一个 1024 程序员节的活动，其中有一个技术对抗赛，对抗赛又分为算法与安全答题和安全攻防挑战赛，其中安全攻防挑战赛里面有 7 个题，其中有 APP 逆向和解密的题目，作为爬虫工程师，逆向分析的技能也是必须要有的，于是 K 哥就以爬虫工程师的角度，尝试做了一下其中逆向相关的两个题，发现逆向不是很难，分享一下思路给大家。（以爬虫工程师的角度分析安全攻防的题，网安大佬勿喷！）1024 程序员节活动地址：https://www.bi..
博客
JS 逆向之 Hook，吃着火锅唱着歌，突然就被麻匪劫了！
09-29 2万+
关注微信公众号：K哥爬虫，QQ交流群：808574309，持续分享爬虫进阶、JS/安卓逆向等技术干货！什么是 Hook？Hook 中文译为钩子，Hook 实际上是 Windows 中提供的一种用以替换 DOS 下“中断”的系统机制，Hook 的概念在 Windows 桌面软件开发很常见，特别是各种事件触发的机制，在对特定的系统事件进行 Hook 后，一旦发生已 Hook 事件，对该事件进行 Hook 的程序就会收到系统的通知，这时程序就能在第一时间对该事件做出响应。在程序中将其理解为“劫持”可能会更.
博客
17track物流查询平台 last-event-id 参数逆向分析
10-21 371
就容易多了，只需要将下面这几个关于代码检测的函数都删除掉，都是些无关的代码，检测代码格式化 、解完混淆后代码就清晰可见，缺啥扣啥，一步步来就好了，代码也不多，可见 AST 解混淆的重要性。Github 仓库：https://github.com/cilame/v_jstools。目标：17xx 物流查询平台 last-event-id 参数逆向分析。在线分析工具：https://astexplorer.net。然后再通过工具替换代码，这边选用。，映入眼帘的就是我们熟悉的。, 我们直接看它触发。
博客
【JS逆向百例】某赚网 WebSocket 套 Webpack 逆向分析
10-21 979
近期有粉丝私信，提到了某网站抓不到包的问题，之前还有不少新手粉丝提到不会 webpack。
博客
【验证码识别专栏】大炮打麻雀 — CLIP 图文多模态模型，人均通杀 AIGC 六、九宫格验证码！
10-21 859
近期有粉丝私信，不知道如何训练某讯系点选验证码，之前星球群也有不少粉丝讨论相关问题，为满足粉丝们的需求，本文将对这型验证码的训练进行讲解， 文末可以下载相关的工具，包括文章配套标注工具文章配套训练代码部分学习数据集（少量类目，仅供学习使用，不设计成品）六宫格推理比较算法。CLIP（Contrastive Language-Image Pre-Training）是由 OpenAI 在 2021 年发布的一种多模态预训练神经网络模型，旨在将图像和自然语言的表示空间统一起来，使得它们可以相互理解和关联。
博客
【验证码逆向专栏】某某滑块逆向分析
09-02 1149
粉丝答疑又双叒来了！最近仍有不少粉丝咨询逆向相关问题，K哥会尽力回复，不过毕竟精力有限，不可能说是面面俱到（忙忘了@.@）。当然，还是会尽可能多筛选些典型的案例，产出相关文章，以供大伙学习交流。
博客
【JS逆向百例】音乐 wasm 逆向
08-26 968
最近在看知识星球群聊的时候，发现有小伙伴在讨论某wasm的相关问题，之前也有星球成员私信询问这个案例。
博客
【JS逆向百例】携某 testab 参数补环境详解
08-26 607
最近很多粉丝咨询补环境相关的问题，确实，相较于硬刚算法，补环境相对通用、易于实现。不过现在网上很多文章，对于如何补浏览器环境，都说的很模糊，或者直接表示”缺啥补啥“。诚然，补环境的文章确实不好写，但这对于部分人来说，看完还是很蒙圈，如果是小白的话，那就更不友好了。JSVMP 插桩跟算法，公众号和知识星球中都有不少文章，本文将采用补环境的方式解决 JSVMP，并详细分析处理过程。
博客
【验证码逆向专栏】某安登录流程详解与验证码逆向分析与识别
08-06 1232
最近知识星球有粉丝表示自己在逆向某安的过程中有一些疑惑，过来咨询，K 哥一向会尽力满足粉丝需求。本文就对某安进行深入研究，包括登录接口逆向、验证码识别、风控等方面进行全方位的分析。
博客
爬虫“拥抱大模型”，有没有搞头？
07-29 1610
大模型是当前最热门的研究方向之一，千行百业加速“拥抱大模型”。如今，越来越多的研究机构和企业选择开放大模型的源代码和训练数据，促进了学术界和工业界的合作与交流，推动了技术进步，相关生态越来越好。这也使得，无论体量大小，各公司都有参与的机会，越来越多的大模型开始支持多模态输入和输出，能够处理文本、图像、音频等多种类型的数据。但是这么多的大模型，谁更胜一筹呢？谁能与爬虫产生更好的反应呢？本文将对各大常见的国内外大语言模型进行对比测试，从数据层面，体现一些直观的信息。
博客
【0基础学爬虫】爬虫框架之 feapder 的使用
07-06 1884
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫。学习爬虫的过程中，一般都会接触到一些框架，常见的比如 Scrapy、Pyspider 等等，不同的框架都有着各自的特点。不过就上述两款爬虫框架而言，Pyspider 久未维护，且安装到使用的过程较为坎坷；Scrapy 生态良好，功能丰富，但是对于初学者来说，学习成本相对较高。
博客
【0基础学爬虫】爬虫基础之scrapy的使用
07-01 1706
Scrapy 是一个用于爬取网站并提取结构化数据的强大且灵活的开源框架。它提供了简单易用的工具和组件，使开发者能够定义爬虫、调度请求、处理响应并存储提取的数据。Scrapy 具有高效的异步处理能力，支持分布式爬取，通过其中间件和扩展机制可以方便地定制和扩展功能，广泛应用于数据挖掘、信息聚合和自动化测试等领域。数据爬取下来之后，我们通过scrapy 的 items 进行操作。item就是即提前规划好哪些字段需要抓取，比如上面的标题、评分这些字段就需要使用 item 提前定义好。
博客
【JS逆向百例】某点数据逆向分析，多方法详解
06-24 1514
最近收到粉丝的私信，其在逆向某个站点时遇到了些问题，在查阅资料未果后，来询问K哥，K哥一向会尽力满足粉丝的需求。网上大多数分析该站点的教程已经不再适用，本文K哥将提供 3 种解决方案。
博客
【0基础学爬虫】爬虫基础之自动化工具 Appium 的使用
06-20 1265
自动化测试在测试过程中节约了时间，还能避免包括人为因素造成的测试错误和遗漏。可供选择的自动化测试工具有很多，一些是开源的，而有些则较贵。但是自动化工具无论新旧，都有各自的特点。关于 Android 自动化测试，工具有很多，比如 Robotium、MonkeyRunner、Ronaorex、Appium、Robotium、uiautomator2 等等，本文将对 Appium 做详细讲解。Appium 是一个开源测试自动化框架，用于原生、 混合和移动 Web 应用程序。
博客
【0基础学爬虫】爬虫基础之自动化工具 DrissionPage 的使用
06-11 2588
前三期文章中已经介绍到了 Selenium 与 Playwright 、Pyppeteer 的使用方法，它们的功能都非常强大。而本期要讲的 DrissionPage 更为独特，强大，而且使用更为方便，目前检测少，强烈推荐！！！这里推荐观看十一姐 B 站 DrissionPage 系列视频，很详细：合集·爬虫自动化 DrissionPage 实战案例：DrissionPage 相关资料：官方文档：https://www.drissionpage.cn。
博客
京东h5st4.7逆向分析
05-13 2733
最近某东也是在不断的维护升级 h5st 参数， 原因就是逐渐VMP 化，现在已经到了4.7版本了，也相对稳定下来了，那我们就来分析分析。
博客
【小程序逆向专栏】某润选房小程序逆向分析
04-30 1224
本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在公众号【K哥爬虫】联系作者立即删除！近期在交流群中发现，有群友提到了小程序逆向相关的问题，之前也有不少粉丝私聊提问过相关问题，也对他们的疑问进行了解答， K哥一向会尽力满足粉丝们的需求 ，为了避免群友手动采集之痛，本
博客
【Go 语言入门专栏】Go 语言的起源与发展
04-30 1841
Go 语言是当下最为流行的编程语言之一，大约在 2020、2021 年左右开始于国内盛行，许多大厂很早就将部分 Java 项目迁移到了 Go，足可看出其在性能方面的优越性。相信各位都知道，在爬虫业务中，并发是一个关键的需求，不然仅靠单线程采集数据，只怕公司垮了数据都还没采完。以往编写爬虫脚本，通常会使用 Python 语言，不过，想用 Python 实现较好的并发性能，相对麻烦，并且容易受到服务器或电脑配置的影响。
博客
【验证码逆向专栏】xx80 邮箱多种类验证码逆向分析
04-01 1660
本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在公众号【K哥爬虫】联系作者立即删除！又到了粉丝答疑时间，之前已经分析了两位粉丝存疑的站点，并编写了相应的逆向文章，私信中还有些小伙伴提出了在逆向一些网站的时候碰到的问题，后期仍会选择其中一些，写成文章，以供参考：目标
博客
【JS逆向百例】云汉芯商城逆向分析
03-25 1395
本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在公众号【K哥爬虫】联系作者立即删除！继上次粉丝提问，K哥出了对应站点的分析文章之后，又有不少小伙伴提出了在逆向一些网站的时候碰到的问题，态度都很友好，K哥会尽力满足粉丝需求，不过只能一个个慢慢来，本文先对其中一个进行
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值