【Python爬虫实例】Python解决521反爬方案

已于 2024-01-06 20:08:11 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： Python入门 编程语言 python 文章标签： python 爬虫 开发语言 Python入门 Python爬虫
于 2023-05-23 10:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/libaiup/article/details/130801544
版权
python 同时被 3 个专栏收录
613 篇文章 32 订阅
订阅专栏
Python入门
390 篇文章 2 订阅
订阅专栏
编程语言
276 篇文章 4 订阅
订阅专栏

写在前面的话

Python在爬虫方面的优势，想必业界无人不知，随着互联网信息时代的的发展，Python爬虫日益突出的地位越来越明显，爬虫与反爬虫愈演愈烈。下面分析一例关于返回HTTP状态码为521的案例。

（全套教程文末领取哈）

案例准备

案例剖析

1） 浏览器访问【“一带一路”建设成果图鉴丨陆海内外联动，湖北推动产能合作纵深推进】：

img

2）写ython代码访问，查看http(s)返回状态

# coding:utf-8


import requests
from fake_useragent import UserAgent


USER_AGENT = UserAgent()
ua = USER_AGENT.random
url = r'https://www.yidaiyilu.gov.cn/xwzx/gnxw/87373.htm'
headers = {
    "Host": "www.yidaiyilu.gov.cn",
    "User-Agent": ua
}
rs = requests.session()
resp = rs.get(url)
print(resp.status_code)
print(resp.text)

不幸的是，返回的http的状态码却是501，text为一段混淆的js代码。

img

python_anti_spider_521_requests_20190505.png

3）百度查资料，推荐为文首的【参考文献】

继续参照资料修改代码，Python执行JS首选execjs，pip安装如下：

pip install PyExecJS

将请求到的js执行：

text_521 = ''.join(re.findall('<script>(.*?)</script>', resp.text))
func_return = text_521.replace('eval', 'return')
content = execjs.compile(func_return)
print(content.call('f'))

将返回的结果print发现还是一段JS，标准格式化（【格式化Javascript工具】），结果如下所示：

var _2i = function () {
        setTimeout('location.href=location.pathname+location.search.replace(/[\?|&]captcha-challenge/,\'\')', 1500);
        document.cookie = '__jsl_clearance=1557019601.296|0|' + (function () {
                    var _2i = [([(-~[] << -~[])] * (((+!+{}) + [(-~[] << -~[])] >> (-~[] << -~[]))) + []), (-~{} + [] + [
                                []
                            ][0]) + [3 - ~(+!+{}) - ~(+!+{})], (-~{} + [] + [
                                []
                            ][0]) + [5], (-~{} + [] + [
                                []
                            ][0]) + [~~''], (-~{} + [] + [
                                []
                            ][0]), [-~~~!{} + [~~
                                []
                            ] - (-~~~!{})], (-~{} + [] + [
                                []
                            ][0]) + [-~{} - ~[-~{} - ~{}]], (-~{} + [] + [
                                []
                            ][0]) + (-~{} + [] + [
                                []
                            ][0]), [-~(+!+{})], (-~{} + [] + [
                                []
                            ][0]) + ([(-~[] << -~[])] * (((+!+{}) + [(-~[] << -~[])] >> (-~[] << -~[]))) + []), (-~{} + [] + [
                                []
                            ][0]) + (-~[-~{} - ~{}] + [
                                []
                            ][0]), (((-~[] << -~[]) << (-~[] << -~[])) + [
                                []
                            ][0]), [3 - ~(+!+{}) - ~(+!+{})], (-~{} + [] + [
                                []
                            ][0]) + (((-~[] << -~[]) << (-~[] << -~[])) + [
                                []
                            ][0]), [5],
                            [-~{} - ~[-~{} - ~{}]], (-~{} + [] + [
                                []
                            ][0]) + [-~(+!+{})], (-~[-~{} - ~{}] + [
                                []
                            ][0]), [~~'']
                        ],
                        _1d = Array(_2i.length);
                    for (var _5 = 0; _5 < _2i.length; _5++) {
                        _1d[_2i[_5]] = ['Bz', (-~[-~{} - ~{}] + [
                                    []
                                ][0]), [{} + [] + [
                                    []
                                ][0]][0].charAt(-~~~!{}), 'DR', ([(-~[] << -~[])] / (+!/!/) + [] + [
                                    []
                                ][0]).charAt(-~[-~~~!{} - ~(-~[] - ~{} - ~{})]) + (+[(+!+{}), (+!+{})] + []).charAt((+!+{})), [
                                    [][
                                        []
                                    ] + [] + [
                                        []
                                    ][0]
                                ][0].charAt(-~{} - ~[-~{} - ~{}]), 'qM', (((-~[] << -~[]) << (-~[] << -~[])) + [
                                    []
                                ][0]) + (+[(+!+{}), (+!+{})] + []).charAt((+!+{})) + (-~{}
                                    /~~''+[]+[[]][0]).charAt((+!/!/)),'S','g%',(((-~[]<<-~[])<<(-~[]<<-~[]))+[[]][0]),'HxXL',[[][[]]+[]+[[]][0]][0].charAt(-~{}-~[-~{}-~{}]),'D',[-~(+!+{})],'T%','YW',[{}+[]+[[]][0]][0].charAt(-~~~!{}),'vw'][_5]};return _1d.join('')})()+';Expires=Sun, 05-May-19 02:26:41 GMT;Path=/;
                                    '};if((function(){try{return !!window.addEventListener;}catch(e){return false;}})()){document.addEventListener('
                                    DOMContentLoaded ',_2i,false)}else{document.attachEvent('
                                    onreadystatechange ',_2i)}

4）修改与浏览器相关的代码，然后放入浏览器的console进行调试。

img

python_anti_spider_521_js_debug_20190505.png

注意，在调试过程中，不难发现，js变量是动态生成的。最初还嵌套有document.createElement('div')，Python的execjs包不支持处理这类代码，需要做相应处理。

5）综上分析，完整代码如下：

#!/usr/bin/env python
# coding:utf-8


import sys
import re
import requests
import execjs
from fake_useragent import UserAgent


reload(sys)
sys.setdefaultencoding('utf8')


class YiDaiYiLuSpider(object):
    """
    中国一带一路网（521反爬）
    """

    USER_AGENT = UserAgent()
    ua = USER_AGENT.random
    url = r'https://www.yidaiyilu.gov.cn/xwzx/gnxw/87373.htm'
    headers = {
        "Host": "www.yidaiyilu.gov.cn",
        "User-Agent": ua
    }

    @classmethod
    def get_text521(cls):
        """

        :return:
        """

        rs = requests.session()
        resp = rs.get(url=cls.url, headers=cls.headers)
        text_521 = ''.join(re.findall('<script>(.*?)</script>', resp.text))
        cookie_id = '; '.join(['='.join(item) for item in resp.cookies.items()])
        return cookie_id, text_521

    @classmethod
    def generate_cookies(cls, func):
        """

        :param func:
        :return:
        """

        func_return = func.replace('eval', 'return')
        content = execjs.compile(func_return)
        eval_func = content.call('f')
        var = str(eval_func.split('=')[0]).split(' ')[1]
        rex = r">(.*?)</a>"
        rex_var = re.findall(rex, eval_func)[0]
        mode_func = eval_func.replace('document.cookie=', 'return ').replace(';if((function(){try{return !!window.addEventListener;}', ''). \
            replace("catch(e){return false;}})()){document.addEventListener('DOMContentLoaded'," + var + ",false)}", ''). \
            replace("else{document.attachEvent('onreadystatechange'," + var + ")}", '').\
            replace(r"setTimeout('location.href=location.pathname+location.search.replace(/[\?|&]captcha-challenge/,\'\')',1500);", '').\
            replace('return return', 'return').\
            replace("document.createElement('div')", '"https://www.yidaiyilu.gov.cn/"').\
            replace(r"{0}.innerHTML='<a href=\'/\'>{1}</a>';{0}={0}.firstChild.href;".format(var, rex_var), '')

        content = execjs.compile(mode_func)
        cookies_js = content.call(var)
        __jsl_clearance = cookies_js.split(';')[0]
        return __jsl_clearance

    @classmethod
    def crawler(cls):
        """

        :return:
        """

        url = r'https://www.yidaiyilu.gov.cn/zchj/sbwj/87255.htm'
        cookie_id, text_521 = cls.get_text521()
        __jsl_clearance = cls.generate_cookies(text_521)
        cookies = "{0};{1};".format(cookie_id, __jsl_clearance)
        cls.headers["Cookie"] = cookies
        print(cls.headers)
        res = requests.get(url=url, headers=cls.headers)
        res.encoding = 'utf-8'
        print(res.text)


if __name__ == '__main__':

    YiDaiYiLuSpider.crawler()

运行结果如下：

img

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

朋友们如果需要这份完整的资料可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、Python学习大纲

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

二、Python必备开发工具

在这里插入图片描述

三、入门学习视频

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。在这里插入图片描述

五、python副业兼职与全职路线

在这里插入图片描述

在这里插入图片描述

👉[[CSDN大礼包：《python兼职资源&全套学习资料》免费分享]]（安全链接，放心点击）

进击的码农！
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy遇到http状态码521：Crawled (521)的解决方案
Dzboy
07-20 1511
大家好，我是专职Android研发，有14年研发经验，其中Android研发经验已经有10年。曾任职上市公司，有车机导航、机器人等行业及研发经验，热衷于技术和研发。除Android专业外，也研究并使用Python、PHP、JavaScript、前端、中间件、数据库等技术。目前开始通过博客对自己的知识和经验进行归纳和总结，由于工作较忙，不定期去更新博客。希望本博客的内容能够真正帮助到一些同学。
html状态码521,python爬虫 处理521状态码
weixin_39861734的博客
05-31 1204
在抓取数据的时候往往可以通过状态码来判断返回结果，今天在抓取数据的时候碰到了以前没有碰到过得状态码521，输出它的爬取内容(text)，发现是一些js代码。一起探讨一下如何处理521状态码。用charles抓包的时候，发现浏览器对于同一网页连续访问了两次，第一次的访问状态码为521，第二次为200(正常访问)。看来网页加了反爬虫机制，需要两次访问才可返回正常网页。通过对比两次请求，我们发现第二次访...
http状态码521——记一次网页爬取
chunmou1971的博客
04-07 5083
前段时间写了一个各应用市场某款应用的定时爬取任务，收集应用的下载量、评价、评分等信息然后报表展现，之前一直运行正常，前两天相关人员反馈数据出现异常，第一感觉肯定是该应用市场的网页结构发生变化了。 在本地运行数据爬取任务，发现确实有个应用市场报521错误，这个错误没见过啊，开始网上各种搜，发现...
HTTP STATUS CODE: 521的解决办法
wangdepei的博客
12-04 2万+
一、遇到的问题 在使用Java程序访问一个PDF文件的URL时，发现无法下载该PDF文件，加上各种header也不行，然后看程序的response.getStatusLine()，发现是一个以前从未见到过的错误：HTTP/1.1 521 。 乍一看是500系列的，对面的服务崩了？但是复制url到浏览器地址栏，发现还是可以正常浏览这个PDF的。 于是清除浏览器缓存，重新访问这个URL，用大鲨鱼(wi...
解决python爬虫出现的521问题
yvanboyang的博客
02-19 1778
一、问题发现 近期我在做代理池的时候，发现了一种以前没有见过的反爬虫机制。当我用常规的requests.get(url)方法对目标网页进行爬取时，其返回的状态码（status_code）为521，这是一种以前没有见过的状态码。再输出它的爬取内容（text），发现是一些js代码。看来是新问题，我们来探索一下。 状态码和爬取内容.png 二、原理分析 打开Fiddler，抓取访问网站的包，...
关于Python爬取网页返回521状况码的解决方案
NorburyL
01-23 3927
项目场景： Python3.8 问题描述： 在这里插入代码片 原因分析： 频繁爬取目标网站，导致的网址反爬虫措施 解决方案：
「Python爬虫」最细致的讲解Python爬虫之Python爬虫入门
Python_2332的博客
06-01 476
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。
爬虫技术系列课+Python+爬虫基础知识爬虫实例反爬机制+自学课程
04-04
内容概要：Python爬虫系列课程，共10个章节，深入浅出掌握Python爬虫的基础知识，了解爬虫实例，熟悉反爬机制，小的系列课程。 适合人群：基础小白入门系列，想了解Python爬虫基础知识的同学，属于入门级课程，可以...
关于Python爬虫基础知识、爬虫实例和反爬机制
04-22
关于Python爬虫基础知识、爬虫实例和反爬机制 # Python爬虫基础知识 ## 什么是爬虫？ 爬虫（也称为网络爬虫、网页抓取器）是一种自动化程序，用于从互联网上收集信息。它们通过HTTP请求访问网页，并从网页中提取...
python爬虫基础知识、爬虫实例、反爬机制等
07-08
python爬虫基础知识、爬虫实例、反爬机制等资源。请注意遵守相关法律，并在资源中提供技术栈、对象和爬虫使用及环境依赖构建等内容说明
Python爬虫基础知识、爬虫实例与反爬机制介绍.pdf
05-05
本文深入浅出地介绍了Python爬虫的基础知识、实例应用以及面对反爬机制的应对策略，为初学者和进阶者提供了一份宝贵的资源。通过阅读本文，你将能够快速掌握爬虫技术，并在实践中不断提升自己的数据处理能力。我强烈...
一个python爬虫反爬机制及具体实例
06-11
下面是一个具体的Python爬虫实例，展示了如何应对这些反爬机制： 首先，确保安装了必要的库： pip install requests pip install beautifulsoup4 然后，创建一个名为anti_spider.py的Python文件，并添加以下代码：
java 爬虫 抓取网上的图片报错521解决方案
weixin_39310051的博客
08-11 1394
521错误码需要请求多次，才能返回想要的值；使用Fiddler 4抓取到url调用了三次才拿到结果，所以需要逐一解析返回值。 1、第一次请求：
Python爬虫打印状态码为521，返回数据为乱码？
m0_74972727的博客
03-09 588
注意：如何已添加cookie，出现断网情况，需要重新获取cookie。
新 HTTP 状态码
热门推荐
不急不躁
06-04 2万+
起因是同学发起的一个请求被乌云返回了 520 ，遂查一下新增的 HTTP 状态码CloudFlareCloudFlare's reverse proxy service expands the 5xx error space to signal issues with the origin server.520 Unknown ErrorThe 520 error is used as a "cat
爬虫521应对
qq_42636010的博客
06-28 888
要做一个动态ip池，结果爬ip地址的时候遇到一个网站返回521 百度后根据前人的经验得知这种网站是有两次请求，第一次请求返回一个cookie（这时候状态是521），然后第二次请求带着这个cookie请求就会又得到一个cookie，这个cookie可以用第一次请求返回的js代码获得，用这两个cookie同时请求才能获得正确的response。而且两次请求的User-Agent一定要一样所以要设置he...
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
最新发布
qq_64603703的博客
07-27 931
详细解说数据分析pandas库中的常用方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值