爬取某度某吧?高通过率百度旋转验证码逆向实现

已于 2023-07-30 10:28:21 修改
阅读量1.4k 收藏 2
点赞数 1
文章标签： python scipy
于 2023-07-29 19:54:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1473227656/article/details/131999178
版权

爬取某度某吧?高通过率百度旋转验证码逆向实现

声明
本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！
本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在联系作者立即删除！

数据爬取

热门吧爬取

热门吧爬取分析

首先是进入网站的首页 看到热门吧
点击跳转热门吧页面,查看请求信息

请添加图片描述

复制到postman之后,修改rn参数 发现所有的数据都回来了！！！那么就很简单了开始写代码！！

sprider 引擎
class HotTiebaSpider(scrapy.Spider):
    name = 'hotTieba'
    allowed_domains = DOMAINS
    start_urls = HOT_TIEBA_URL

    def __init__(self, mongo_uri, mongo_db, mongo_user, mongo_passwd):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
        self.user = mongo_user
        self.passwd = mongo_passwd
        self.client = pymongo.MongoClient(self.mongo_uri, username=self.user, password=self.passwd)
        self.db = self.client[self.mongo_db]

    # 从setting.py中读取数据库连接信息
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB'),
            mongo_user=crawler.settings.get('MONGO_USER'),
            mongo_passwd=crawler.settings.get('MONGO_PASSWORD')
        )

    def start_requests(self):
        self.db[HOT_TIEBA].drop()
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
        }
        for url in self.start_urls:
            yield scrapy.Request(url=url, headers=headers)

    def parse(self, response):
        crawl_time = datetime.now()
        response_json = json.loads(response.body)
        if response_json['errno'] == 0:
            data = response_json['data']
            for forum_info in data['forum_info']:
                forum_info['crawl_time'] = crawl_time
                yield HotTiebaSpiderItem(forum_info)
hotTiebaItem
class HotTiebaSpiderItem(scrapy.Item):
    forum_id = scrapy.Field()
    forum_name = scrapy.Field()
    avatar = scrapy.Field()
    thread_count = scrapy.Field()
    member_count = scrapy.Field()
    crawl_time = scrapy.Field()
pipeline
class TiebaspiderPipeline(object):
    def __init__(self, mongo_uri, mongo_db, mongo_user, mongo_passwd):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
        self.user = mongo_user
        self.passwd = mongo_passwd

        self.client = pymongo.MongoClient(self.mongo_uri, username=self.user, password=self.passwd)
        self.db = self.client[self.mongo_db]

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB'),
            mongo_user=crawler.settings.get('MONGO_USER'),
            mongo_passwd=crawler.settings.get('MONGO_PASSWORD')
        )

    def open_spider(self, spider):
        pass

    def process_item(self, item, spider):
        # 保存数据到MongoDB数据库
        if isinstance(item, HotTiebaSpiderItem):
            self.db[HOT_TIEBA].insert_one(dict(item))
        elif isinstance(item, TiebaMessageSpiderItem):
            self.db[TIEBA_MASSAGE].insert_one(dict(item))
        return item

    def close_spider(self, spider):
        self.client.close()
启动脚本
import os

if __name__ == '__main__':
    os.system("scrapy crawl hotTieba")

贴文爬取

贴文爬取分析

每个吧的请求都是：url+f?kw=吧，然后打开浏览器查看需要的html信息，找到自己想要的信息，xpath处理之后就得到想要的贴文了，
但是需要注意，直接请求的话，返回的信息都是在注释中的。
请添加图片描述
分析完毕，开始写代码！！！

TiebaMessageSpider 引擎
def get_message_result(crawl_time, top_li, is_top, tieba_name):
    if len(top_li.xpath(".//div[contains(@class ,'mediago-ad')]")) > 0:
        return {}
    title_a = top_li.xpath(".//div[contains(@class ,'hreadlist_title')]/a")
    message_href = title_a.xpath("./@href").extract()[0]
    message_title = title_a.xpath("./@title").extract()[0]
    author_a = top_li.xpath(".//div[contains(@class ,'threadlist_author')]//span[@class='frs-author-name-wrap']/a")
    author_href = author_a.xpath("./@href").extract()[0]
    author_data_field = author_a.xpath("./@data-field").extract()[0]
    author_json = json.loads(author_data_field)
    user_id = author_json['id']
    user_un = author_json['un']
    return {
        "message_href": message_href,
        "message_title": message_title,
        "author_href": author_href,
        "user_id": user_id,
        "user_un": user_un,
        "is_top": is_top,
        "tieba_name": tieba_name,
        "crawl_time": crawl_time
    }



class TiebaMessageSpider(scrapy.Spider):
    name = "message"
    allowed_domains = DOMAINS
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
    }

    def __init__(self, mongo_uri, mongo_db, mongo_user, mongo_passwd):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
        self.user = mongo_user
        self.passwd = mongo_passwd
        self.client = pymongo.MongoClient(self.mongo_uri, username=self.user, password=self.passwd)
        self.db = self.client[self.mongo_db]
        hotTiebas = self.db[HOT_TIEBA]
        params = []
        for hotTieba in hotTiebas.find():
            param = {
                "kw": hotTieba['forum_name'],
                "ie": "utf8",
                "pn": 0
            }
            params.append(param)
        self.params = params
        self.start_url =START_URL
        self.client.close()

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB'),
            mongo_user=crawler.settings.get('MONGO_USER'),
            mongo_passwd=crawler.settings.get('MONGO_PASSWORD')
        )

    def start_requests(self):
        for param in self.params:
            param_encode = urlencode(param)
            url = self.start_url + param_encode
            yield scrapy.Request(url=url, headers=self.headers, meta=param)

    def parse(self, response):
        params = response.request.meta
        kw = params['kw']
        print('kw: ', kw)
        crawl_time = datetime.utcnow()
        results = response.xpath("//code[@id='pagelet_html_frs-list/pagelet/thread_list']").extract()
        if len(results) == 0:
            results = response.xpath("//div[@id='pagelet_frs-list/pagelet/thread_list']").extract()
        if len(results) == 0:
            results = response.xpath("//div[@id='content_wrap']").extract()
        for result in results:
            replace_result = result.replace("<!--\n\n", '').replace(
                "\n-->", '')
            result_selector = Selector(text=replace_result)
            top_lis = result_selector.xpath("//ul[@id='thread_top_list']/li")
            for top_li in top_lis:
                yield TiebaMessageSpiderItem(get_message_result(crawl_time, top_li, 1, kw))
            general_lis = result_selector.xpath("//ul[@id='thread_list']/li")
            for general_li in general_lis:
                print(general_li)
                yield TiebaMessageSpiderItem(get_message_result(crawl_time, general_li, 0, kw))

Item

class TiebaMessageSpiderItem(scrapy.Item):
    message_href = scrapy.Field()
    message_title = scrapy.Field()
    author_href = scrapy.Field()
    user_id = scrapy.Field()
    user_un = scrapy.Field()
    is_top = scrapy.Field()
    tieba_name = scrapy.Field()
    crawl_time = scrapy.Field()

验证码校验

贴文爬取十分钟之后 就会开始旋转验证码校验 感谢大佬提供的模型 准确率还是很高的
模型链接：https://blog.csdn.net/qq_44749634/article/details/125914114
使用的是请求接口 完毕之后 通过selenium 得到返回的响应 传给scrapy中间件处理

禁用scrapy redict中间件

服务器检测到你有问题之后，会把你重定向到验证页面，所以我们需要自己去处理重定向请求
在setting.py中禁用重定向中间件 并使用我们自定义的下载中间件

DOWNLOADER_MIDDLEWARES = {
    'tiebaspider.middlewares.TiebaspiderDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': None,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': None
}

验证码处理类

首先 打开页面 看一下加载请求
请添加图片描述

进入页面之后，发起了init请求，参数是ak 在跳转的url中可以得到参数ak ，响应得到tk 、as后面会用到
先来模拟下这个请求

  def post_init(self):
        params = {
            "refer": self.refer,
            "ak": self.ak,
            "ver": 1,
            "qrsign": ""
        }
        body = parse.urlencode(params)
        headers = {
            'Content-Type': self.URLENCODE_TYPE,
            'Referer': self.refer,
            'User-Agent': self.userAgent,
            'Cookies': self.cookies
        }
        return self.session.post(url=self.INIT_URL, headers=headers, data=body)

之后发起style请求 参数是ak、tk 响应得到 backstr跟captchalist

"backstr": ""
        "captchalist": [
            {
                "id": "spin-0",
                "source": {
                    "back": {
                        "path": ""
                    }
                },
                "type": "spin"
            }

模拟一下

def post_style(self):
        headers = {
            'Content-Type': self.URLENCODE_TYPE,
            'Referer': self.DOMAINS,
            'User-Agent': self.userAgent,
            'Cookies': self.cookies
        }
        self.tk = self.beforeData['tk']
        self.as_data = self.beforeData['as']
        if self.backstr == '':
            params = {
                "refer": self.refer,
                "ak": self.ak,
                "tk": self.tk
            }
        else:
            refresh = {"capId": "spin-0",
                       "backstr": self.backstr}
            params = {
                "refer": self.refer,
                "ak": self.ak,
                "tk": self.tk,
                "isios": 0,
                "type": 'spin',
                "refresh": refresh,
                "ver": 1
            }

            headers = {
                'Accept': 'application/json, text/plain, */*',
                'Content-Type': self.URLENCODE_TYPE,
                'Origin': self.DOMAINS,
                'Referer': self.refer,
                'User-Agent': self.userAgent,
                'Cookies': self.cookies
            }
        body = parse.urlencode(flat_dict(params))
        respose = self.session.post(url=self.STYLE_URL, headers=headers, data=body)
        return respose

image接口获取图片

    def post_image(self, respose):
        style_data = respose.json()['data']
        self.backstr = style_data['backstr']
        headers = {
            'Content-Type': self.URLENCODE_TYPE,
            'Referer': self.DOMAINS,
            'User-Agent': self.userAgent,
            'Cookies': self.cookies
        }
        captcha = style_data['captchalist'][0]
        element_source = captcha['source']
        element_path = element_source['back']['path']
        respose = self.session.get(url=element_path, headers=headers)
        return respose

log接口是检验接口 as tk ak 在前面都可以得到 fs是加密后的验证信息。主要的校验值，只有acc_c 跟backstr 追踪一下log接口堆栈 很容易得到fs加密前的信息，除了这两个值 其他写死或置空都可以
加密很简单 第一次加密 首先使用as计算出一个新的key ，在利用这个key进行两次AES加密后就可以得到fs
返回值为ds 跟tk
之后进行二次校验c请求主要用作二次校验 使用log请求返回的ds跟tk，但是要注意，log，c请求不能跟之前求求在同一个session中请求，服务器会返回安全错误
模拟c接口与log接口

def post_log(self, png_path, respose):
        with open(png_path, 'wb') as file:
            file.write(respose.content)
        image = Image.open(
            png_path)
        new_png_path = self.IMAGE_LOCAL_PATH + self.backstr[0:5] + '_new.png'
        ocr = my_ocr()
        image.save(new_png_path
                   )  # 截取的验证码图片保存为新的文件
        result = ocr.identification(
            new_png_path)
        e = round(int(result) / 360, 2)
        mv_length = int(result) / 360 * (290 - 52)
        print('预测旋转角度为：', result, '滑动距离为：', mv_length, '旋转百分比为', e)
        self.updateFsJson(e)
        fs = self.encrypt_data(key=self.as_data, rzData=self.fs_json, backstr=self.backstr)
        params = {
            "refer": self.refer,
            "ak": self.ak,
            "as": self.as_data,
            "scene": '',
            "tk": self.tk,
            "ver": 1,
            "fs": fs,
            "cv": "submit",
            "typeid": "spin-0",
            "_": int(time.time()) * 1000

        }
        body = parse.urlencode(params)
        returnData = request_log(body, self.backstr, self.refer)
        return returnData

当返回的有url后就可以直接跳转了，这里我使用的是selenium，发送的请求，但是要保持所有的跳转都在一个session中，才能验证过去

  def log_is_success(self, returnData):
        result = None
        print(returnData)
        logdata = returnData['logdata']
        beforeData = logdata['data']
        backstr = returnData['backstr']
        if 's' in beforeData.keys():
            self.refer = beforeData['s']['url']
            self.driver.get(beforeData['s']['url'])
            # response = self.request_session.get(beforeData['s']['url'], allow_redirects=False)
            url = self.driver.current_url
            # url = response.headers.get('Location')
            time.sleep(random.randint(5, 10))
            if 'wappass' not in url:
                print("成功", url)
                status = 1
                content = self.driver.page_source
                # response = self.request_session.get(url, allow_redirects=False)
                # content=response.content
                result = content
                self.current_url = url
            else:
                print("继续", url)
                status = 2
                ak_now = self.ak
                matchObject = re.match(r'ak=(.*?)&', url, re.M | re.I)
                if (matchObject):
                    ak_now = matchObject.group(1)
                self.init(url, ak=ak_now, userAgent=self.userAgent, cookies=self.cookies, kw='看贴')
                result = url
                self.current_url = url
        elif 'f' in self.beforeData.keys():
            status = 3
            print("安全风险")
        else:
            status = 0

        self.beforeData = beforeData
        self.backstr = backstr
        return {"status": status, "result": result
                }

TiebaspiderDownloaderMiddleware

    def process_response(self, request, response, spider):
     # Called with the response returned from the downloader.
     newresponse = HtmlResponse(url=response.url, body=response.body, encoding='utf-8')
     if response.status == 302 and 'wappass' in str(response.headers.get('Location'), 'utf-8'):
         redirect_url = str(response.headers.get('Location'), 'utf-8')
         refer = redirect_url
         ak = ""
         userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'
         cookies = ''
         matchObject = re.match(r'ak=(.*?)&', request.url, re.M | re.I)
         if (matchObject):
             ak = matchObject.group(1)
         rotatingVerificationCode = RotatingVerificationCode(refer=refer, ak=ak, userAgent=userAgent,
                                                             cookies=cookies,
                                                             kw='看帖')

         while True:
             rotatingVerificationCode.open_session()
             out = rotatingVerificationCode.request_verify()
             redirect_url = rotatingVerificationCode.current_url
             print('wappass' in redirect_url)
             rotatingVerificationCode.close_session()
             if 'wappass' not in redirect_url:
                 break
         print(request.url)
         newresponse = HtmlResponse(url=request.url, body=out, request=request, encoding='utf-8',
                                    status=200)
     return newresponse

总结

这个验证码逆向还是很简单的，稍微努努力就做完了，最后希望小伙伴们帮忙点赞关注加投币！！！

墨染丶eye
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
百度旋转验证码
qq_44657571的博客
07-22 1万+
利用yolo3解决旋转角度的问题，后续就是看验证的逻辑，扣一扣js加密
Js逆向实现滑动验证码图片还原的示例代码
10-15
主要介绍了Js逆向实现滑动验证码图片还原的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
某度翻译js逆向解析token实现js文件源码，点击即可获取最新token
07-30
某度翻译js逆向解析token实现js文件源码。某度翻译的翻译链接中需要上传加密token，本文件附带解密token的js文件一份。可以使用python调用jsexecute进行解析，或者改写成python代码获取最新token，为后续的爬虫任务做铺垫。
通过Python逆向破解百度验证码
ttocr456的博客
04-12 565
利用获取到的验证码图片，我们可以调用第三方打码平台API对验证码进行识别，获取识别结果。在Chrome浏览器中打开百度验证码页面，通过Chrome开发者工具（F12）分析请求，我们可以获取到验证码验证过程中的重要参数：as、ds、tk。利用Python的Requests库模拟发送请求，获取验证码图片以及相关参数。我们需要构造一个包含正确参数的请求，以获取验证码图片和其他验证参数。利用获取到的验证码识别结果和其他参数，构造提交验证请求，获取验证结果。# 发送请求获取验证码图片和参数。# 构造验证请求参数。
【JavaScript 逆向】百度旋转验证码逆向分析
Yy_Rose的博客
03-12 6810
爱企查、百度搜索资源平台、百度搜索等站点百度旋转验证码逆向研究
【JavaScript 逆向】百度旋转验证码
NUT_0的博客
09-14 2183
好久没更新了暑假摆烂了好久，因为业务需要今天给大家带来某度的旋转验证。本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！参数逆向就到这里了，没想到某度的验证码连魔改加密，混淆代码都没有用有点小小失望!给大家看看结果。
百度旋转验证码（8-24，js逆向）
weixin_44772112的博客
08-24 6195
网址：aHR0cHM6Ly96aXl1YW4uYmFpZHUuY29tL2xpbmtzdWJtaXQvdXJs 一、抓包分析 刷新网页，先看第一个包，提交参数是ak和时间戳（ak是定值） 返回的参数中，as和tk后面都会用到 然后点击提交链接地址，会弹出验证码，看第二个包，请求参数的tk是前面返回的 backstr后面会用到，img是验证码的图片（注意：请求的时候记得加请求头 保持session,不然拿到的图片有水印） 二、分析fs、sb参数 跟进来后发现重点在r.rzData 在r.rzDa
实现逆向淘宝商品信息的爬取
最新发布
06-06
上诉所传的是一个js文件，此中包含了爬取淘宝所需的js逆向代码，无python交互代码，如需自取。
小红书旋转验证码自动识别验证
05-26
具体的项目代码，包括数据获取、标注、模型训练测试、以及实际操作
百度旋转滑块逆向
dreke_zhang的博客
11-30 828
在r.rzData中ac_c是检测的关键，ac_c=round((o / 212),2)，而o是滑动的距离，o=angle*212/360 （angle）是识别的角度。然后backstr是前面返回的，其他的所有参数都可固定，包括轨迹。backstr后面会用到，img是验证码的图片（注意：请求的时候记得加请求头 保持session,不然拿到的图片有水印）然后点击提交链接地址，会弹出验证码，看第二个包，请求参数的tk是前面返回的。刷新网页，先看第一个包，提交参数是ak和时间戳（ak是定值）
百度提交 百度打码 百度旋转验证码打码软件
10-05
百度打码提交URL软件
百度旋转验证码破解
Dxy1239310216的博客
06-02 5752
百度旋转验证码识别，识别效果超好，正确率98%
【破解旋转验证码】百度拖动旋转验证码识别方案
热门推荐
香芋味的猫
12-18 4万+
前言 百度的验证码又双叒更新了，这次在图片请求和图片库上又做了手脚。 当然出于好奇，猫又拿起了键盘开始挑战。 正文来了。 先来看看继上次破解百度旋转验证码后，百度的大佬又做出了哪些改变。 首先来看下我们获取到的图片: 截图是这个亚子的 后台拿到的却是这个亚子的 哦呦，这个马赛克有点东西的呀~ 图片抓下来都不一样还咋识别，百度这里也是煞费苦心，给您点个赞。 不过话说回来，就算这样也难不住我们的呀，这里我思考了一下还有几种方式来获取这个图片： 1 .通过系统级鼠标来获取 2 .通过网页截图来获
百度随机阴影旋转验证码破解
Dxy1239310216的博客
09-30 4821
这种带随机阴影的验证码和之前没有阴影的有一点差异，特别是在下图可视化识别的时候，对用户的行为验证较多。所以我第一张图识别对了，还是没有让我通过，并提示我【存在风险，再验证一次】，所以我录屏录制了两次完整的识别，直到最终通过。下面的识别代码就是上面动态效果的完整代码，调用了相关的识别接口，可能需要自行替换Cookie才会正常运行（代码中的Cookie已经过期）。之前我百度没有阴影的旋转验证码，有小伙伴反馈他那里的百度验证码是有随机阴影的，原本的不带阴影的识别效果很差。所以专门针对性的做了开发识别。
点击旋转验证码破解
qq_32389821的博客
09-18 5512
以极速漫画为例 http://www.1kkk.com/  这类的网站验证码使用点击旋转，来登录。 笔者提出的思路简单暴力，直接想办法获得所有正确图片，然后在登录时爬取这4张动漫图片，做旋转对比得出点击次数 查看网页数据加载可以看到在每次点击“换一组”就会加载新的图片 查看图片加载链接 http://www.1kkk.com/image3.ashx?t=1537269577000 ...
贴吧旋转验证码---python破解代码
qq_44749634的博客
07-25 7821
python识别旋转验证码，百度贴吧
旋转验证码v2的加密算法
ttocr796的博客
04-04 889
某网站最近更新了旋转验证码v2的加密算法，给爬虫程序带来了新的挑战。本文将通过网络抓包和逆向分析，深入探讨验证码请求和响应的加密机制，并提供详细的代码实现，帮助读者了解并应对新版验证码的加密算法。首先，我们通过网络抓包工具观察验证码请求和响应的参数，以便分析加密算法的实现细节。print("验证码提交失败：", submit_result)接下来，我们将逆向分析获取的加密参数，以便理解和实现解密过程。# 返回解密后的验证码参数。# 构造验证码样式请求参数。# 构造验证码提交请求参数。
百度验证码识别
r3maldini的专栏
02-24 690
11111111111111
如何通过C++编程实现逆向softmax？
06-03
在C++中，可以通过以下步骤来实现逆向softmax： 1. 首先，对于一个给定的向量v=[v1,v2,...,vn]，计算其指数和exp_sum=∑(i=1,n) exp(vi)。 2. 然后，对于每个元素vi，计算其逆向softmax值p_i=exp(vi) / exp_sum。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值