验证码获取及解加密(模拟人进入网页获取数据)

最新推荐文章于 2024-04-22 22:13:13 发布
最新推荐文章于 2024-04-22 22:13:13 发布
阅读量955 收藏 2
点赞数
分类专栏： 爬虫 文章标签： python selenium html ajax 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50590724/article/details/109961668
版权

一.模拟人的登录查看网页获取数据

1.豆瓣登录

网址:http://www.douban.com
使用的技术:

  1. selenium+Chrome 浏览器完成自动登录

  2. 使用ActionChains控制鼠标操作(鼠标按住–鼠标拖动–鼠标释放)

  3. 使用物理知识(加速度)模拟人的拖动轨迹(先加速后减速)

2.代码

# 需求：破解滑块验证码，完成登录

from selenium import webdriver
import time
# 导入动作链
from selenium.webdriver.common.action_chains import ActionChains

# 2. 调用浏览器
driver = webdriver.Chrome(executable_path=r'D:\chrome\chromedriver.exe')  

# 最大化窗口
driver.maximize_window()

# 3. 请求
driver.get(url='https://www.douban.com/')

# time.sleep(3)

# 1. 点击密码登录
# driver.find_element_by_xpath('/html/body/div[1]/div[1]/ul[1]/li[2]').click()
# 出现问题：没有点击到密码登录，而是点击了电影
# 分析，可能的原因：
# 1. 页面没有加载完成就点击(不是因为这个)
# 2. xpath的路径指定到了电影，路径有问题（不是因为这个）
# 电影路径：//*[@id="anony-nav"]/div[1]/ul/li[2]
# 3. 是因为iframe标签：在主页面中嵌套一个子页面
# 解决：切入到子页面中
# switch_to.frame(0)   切入到iframe中
# 0代表第一个iframe标签
driver.switch_to.frame(0)
driver.find_element_by_xpath('/html/body/div[1]/div[1]/ul[1]/li[2]').click()

# 查找并输入账号
driver.find_element_by_id('username').send_keys('账号')
# 查找并输入密码
driver.find_element_by_id('password').send_keys('密码')
# 查找并点击登录
driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[1]/div[5]').click()

# 出现滑块验证码
# 移动滑块到指定位置，完成登录

time.sleep(3)

# 1. 获取滑块
# huakuai = driver.find_element_by_id('tcaptcha_drag_thumb')
# print(huakuai)
# 出现问题：没有找到元素
# 1. 可能是程序运行太快，滑块还没有加载完就开始查找，所以，休眠一会儿
# 2. id可能有问题
# 3. 可能是有iframe标签
# 切入到第2个iframe标签中
driver.switch_to.frame(1)
# 再查找滑块
huakuai = driver.find_element_by_id('tcaptcha_drag_thumb')

# 找到滑块后，需要按住并保持不动
# click_and_hold() 点击并保持点击状态
# on_element:将此状态加载到哪一个元素身上
# perform()：执行
ActionChains(driver).click_and_hold(on_element=huakuai).perform()

# 拖动滑块
# move_by_offset()  移动
# xoffset：横向移动距离
# yoffset：纵向移动距离
ActionChains(driver).move_by_offset(xoffset=76,yoffset=0).perform()
# print(huakuai)

# 释放鼠标
# ActionChains(driver).release().perform()

# 出现问题：
# 网络恍惚了一下，请重试
# 原因：识别出是机器人了
# 需要将连续行的移动，转换成间断性的移动，完全模拟出人类的移动操作
# 先匀加速，再匀减速
# 涉及物理知识：a(加速度)

# 定义获取运动轨迹函数
def get_tracks(distance):
    """
    v = v0+at
    x = v0t+1/2at**2
    """
    # 定义存放运动轨迹的列表
    tracks = []
    # 定义初速度
    v = 0
    # 定义单位时间
    t = 0.5
    # 定义匀加速运动和匀减速运动的分界线
    mid = distance * 4/5
    # 定义当前位移
    current = 0
    # 为了一直移动，定义循环
    while current < distance:
        if mid > current:
            a = 2
        else:
            a = -3
        v0 = v
        # 计算位移
        x = v0 * t + 1/2*a*t**2
        # 计算滑块当前位移
        current += x
        # 计算末速度
        v = v0+a*t
        tracks.append(round(x))
    return tracks

tracks = get_tracks(176)
print(tracks)
for track in tracks:
    ActionChains(driver).move_by_offset(xoffset=track,yoffset=0).perform()

time.sleep(1)

# 释放鼠标
ActionChains(driver).release().perform()

二.春秋航空注册

网址:https://account.ch.com/NonRegistrations-Regist


from selenium import webdriver
# 导入配置
from selenium.webdriver.chrome.options import Options
import time
from PIL import Image
# 导入动作链
from selenium.webdriver.common.action_chains import ActionChains

# 定义计算移动距离的函数
def get_difference(image1,image2):
    """
    循环每一个点，计算出对应的像素值
    """
    # 外层循环循环长度
    for i in range(image1.width):
        # 内层循环循环宽度
        for j in range(image1.height):
            # 找出缺口
            if not is_similar(image1,image2,i,j):
                return i

# 定义找出缺口位置的函数
def is_similar(image1,image2,x,y):
    # 计算RGB值
    pixel1 = image1.getpixel((x,y))
    pixel2 = image2.getpixel((x,y))
    # 设置一个容差范围，设置30位容差范围
    if abs(pixel1[0] - pixel2[0]) >30 and abs(pixel1[1] - pixel2[1]) > 30 and abs(pixel1[2] - pixel2[2])>30:
        return False
    return True

# 定义获取运动轨迹函数
def get_tracks(distance):
    """
    v = v0+at
    x = v0t+1/2at**2
    """
    # 定义存放运动轨迹的列表
    tracks = []
    # 定义初速度
    v = 0
    # 定义单位时间
    t = 0.5
    # 定义匀加速运动和匀减速运动的分界线
    mid = distance * 4/5
    # 定义当前位移
    current = 0
    # 为了一直移动，定义循环
    while current < distance:
        if mid > current:
            a = 2
        else:
            a = -3
        v0 = v
        # 计算位移
        x = v0 * t + 1/2*a*t**2
        # 计算滑块当前位移
        current += x
        # 计算末速度
        v = v0+a*t
        tracks.append(round(x))
    return tracks

# 实例化Options对象
options = Options()

# 启动开发者模式
options.add_experimental_option('excludeSwitches',['enable-automation'])
options.add_experimental_option('useAutomationExtension',False)

# 2. 调用浏览器
driver = webdriver.Chrome(executable_path=r'D:\chrome\chromedriver.exe',options=options)

# 将webdriver属性干掉
driver.execute_cdp_cmd(
    "Page.addScriptToEvaluateOnNewDocument",{
        "source":'Object.defineProperty(navigator,"webdriver",{get:()=>undefined})'
    }
)

# 最大化窗口
driver.maximize_window()

# 3. 请求
driver.get(url='https://account.ch.com/NonRegistrations-Regist')

# 输入手机号
driver.find_element_by_xpath('/html/body/div[3]/div[1]/div/div[4]/div[2]/div[1]/input').send_keys('手机号')
time.sleep(2)
# 点击发送验证码
driver.execute_script('document.getElementById("getDynamicPwd").click()')

# 出现滑块验证码
# 发现：每一个滑块移动的距离都是不同的，差距也比较大，所以，不能够写一个固定的移动距离
# 思路：将移动距离计算出来
# 核心：
# 1. 找出无缺口的图片
# 2. 使用有缺口的图片和无缺口的图片做对比
# 目的：获取移动的距离（确定缺口位置）

# 休眠，等待验证码加载
time.sleep(2)

# 截图，获取有缺口图片
driver.save_screenshot('quekou.png')

# 找到图片
element = driver.find_element_by_xpath('//div[@class="geetest_canvas_img geetest_absolute"]')

# 获取图片位置
# loaction：获取元素位置
# size：获取元素大小
print(element.location)
print(element.size)

# 计算截图范围
left = element.location['x']
right = element.location['x'] + element.size['width']
top = element.location['y']
bottom = element.location['y'] + element.size['height']

# 打开图片
im = Image.open('quekou.png')
# 开始局部截图
im = im.crop((left+60,top+10,right,bottom))
im.save('quekou_jubu.png')


# 执行js，显示无缺口图片
driver.execute_script('document.getElementsByClassName("geetest_canvas_fullbg")[0].style="display:block"')

# 截取无缺口图片
driver.save_screenshot('wuque.png')

im = Image.open('wuque.png')
# 开始局部截图
im = im.crop((left+60,top+10,right,bottom))
im.save('wuque_jubu.png')

# 将两张图片进行对比，计算移动距离
wuque_jubu = Image.open('wuque_jubu.png')
quekou_jubu = Image.open('quekou_jubu.png')
distance = get_difference(wuque_jubu,quekou_jubu)

# 获取滑块
huakuai = driver.find_element_by_xpath('//div[@class="geetest_slider_button"]')

ActionChains(driver).click_and_hold(on_element=huakuai).perform()

ActionChains(driver).move_by_offset(xoffset=(distance+54)*0.8,yoffset=0).perform()

tracks = get_tracks((distance+54)*0.2)

for track in tracks:
    ActionChains(driver).move_by_offset(xoffset=track,yoffset=0).perform()

time.sleep(1)

# 释放鼠标
ActionChains(driver).release().perform()

三.有道翻译


# 需求：和百度翻译一样

"""
JS加密：是一个非常常见的加密，大部分的页面都会存在
JS加密一般都是对参数进行加密(比如：salt、sign、token、signature等)
JS加密的分析步骤：
    1. 找到哪些参数在影响数据的获取？
        需要做不同的请求，对比参数，找出不同的参数即可
    2. 找到参数之后，需要查找这些参数从哪里获得的/生成的原理是什么？
        (1) 这些参数可能是通过之前的一些请求传递过来的
        (2) 参数是在某个JS文件中生成的 ---> 找出对应的JS文件，分析JS代码,得到参数生成的原理
"""

# 导入requests
import time,random

import requests,hashlib

# 定义请求头
headers = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Content-Length': '236',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Cookie': 'OUTFOX_SEARCH_USER_ID=986208581@10.108.160.102; JSESSIONID=aaaLdHZ6LoWe0bYE2Fiyx; OUTFOX_SEARCH_USER_ID_NCOO=1300305255.7828863; SESSION_FROM_COOKIE=unknown; ___rl__test__cookies=1606460419940',
'Host': 'fanyi.youdao.com',
'Origin': 'http://fanyi.youdao.com',
'Referer': 'http://fanyi.youdao.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
}

# 自定义输入单词
word = input('请输入想要查询的单词：')

# 发现问题：
# 单词只能查询as，其余单词的都不行

"""
var r = function(e) {
        var t = n.md5(navigator.appVersion)
          , r = "" + (new Date).getTime()
          , i = r + parseInt(10 * Math.random(), 10);
        return {
            ts: r,
            bv: t,
            salt: i,
            sign: n.md5("fanyideskweb" + e + i + "]BjuETDhU)zqSxf-=B#7m")
        }
    };
"""

"""
分析salt：
salt: i
i = r + parseInt(10 * Math.random(), 10);
r = "" + (new Date).getTime()

salt = "" + (new Date).getTime() + parseInt(10 * Math.random(), 10)

使用Python代码生成salt
(new Date).getTime() 时间戳的毫秒数 ---> int(round(time.time()*1000))
parseInt(10 * Math.random()) ---> parseInt([0，10))  ---> [0,9]  ---> random.randint(0,9)
"""
salt = str(int(round(time.time()*1000))) + str(random.randint(0,9))


# 获取sign
"""
分析sign：
sign: n.md5("fanyideskweb" + e + i + "]BjuETDhU)zqSxf-=B#7m")
sign: n.md5("fanyideskweb" + word + salt + "]BjuETDhU)zqSxf-=B#7m")
"""
def get_sign(sign):
    # 1. 初始化md5
    md5 = hashlib.md5()
    # 2. 加密
    md5.update(sign.encode('utf-8'))
    # 3. 返回加密数据
    return md5.hexdigest()

sign = get_sign("fanyideskweb" + word + salt + "]BjuETDhU)zqSxf-=B#7m")

# 定义参数字典
data = {
'i': word,
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': salt,
'sign': sign,
'lts': str(int(round(time.time()*1000))),
'bv': '1dfc4dfa8627abec379e26d41735b09a',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME',
}

# 发起请求，接收响应
response = requests.post(url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule',headers=headers,data=data)
print(response.json())
print(response.json()['translateResult'][0][0]['tgt'])
猪猪_女孩
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫逆向案例:某极验3流程分析-滑块验证码
2201_76125393的博客
02-22 602
看一下极验3的流程分析。
教你python破解滑块验证码！记得收藏
2301_76161259的博客
08-26 1114
有小伙伴们私信反馈说，在web自动化的过程中，经常会被登录的验证码给卡住，不知道如何去通过验证码的验证。今天专门给大家来聊聊验证码的问题，一般的情况下遇到验证码我们可以都可以找开发去帮忙解决，关闭验证码！我们自己有没有办法来处理这些验证码的问题呢？答案当然是有的，常见的验证码一般分为两类，一类是图文验证码，一类是滑块验证码！关于图文识别的验证码，之前已经出了相关的识别解决方案，今天就不做过多的介绍了，有兴趣的小伙伴可以。今天我们主要来聊聊滑动验证码如何去识别破解。
作为一只Python爬虫：如何破解滑动验证码
weixin_54556126的博客
12-23 1万+
做爬虫总会遇到各种各样的反爬限制，反爬的第一道防线往往在登录就出现了，为了限制爬虫自动登录，各家使出了浑身解数，所谓道高一尺魔高一丈。 今天分享个如何简单处理滑动图片的验证码的案例。 类似这种拖动滑块移动到图片中缺口位置与之重合的登录验证在很多网站或者APP都比较常见，因为它对真实用户体验友好，容易识别。同时也能拦截掉大部分初级爬虫。 作为一只python爬虫，如何正确地自动完成这个验证过程呢？ 先来分析下，核心问题其实是要怎么样找到目标缺口的位置，一旦知道了位置，我们就可以借用sele.
Python 爬虫模拟登陆，破解滑块验证码
weixin_45943597的博客
10-22 4551
项目简介 最近用了将近一周的时间，做了一个我也不知道有啥用的东西----Python爬虫(京东)。 当然重点不是这，相信不少像我这样的菜鸟在用Python弄爬虫项目的时候，遇到最痛苦的就是被验证码拦在了门外，我也是花了好几天的时间去研究，终于解决了这一难关。 技术 selenium 网上都是selenium是一个自动化测试的类库，其他的先不说，selenium用在爬虫上是真的般配，用selenium实现模拟的登陆，操作页面上的各种组件，完全代替了人工，简直神器啊，细节我就不说了，初学的小伙伴可以先去了解
2024年最新15个经典面试问题及回答思路视频，Python实现简单的神经网络_python神经网络例子，2024年最新Python面试题
最新发布
2401_84132393的博客
04-22 239
sigmoid函数的输出介于0和1，我们可以理解为它把 (−∞,+∞) 范围内的数压缩到 (0, 1)以内。正值越大输出越接近1，负向数值越。在说神经网络之前，我们讨论一下神经元（Neurons），它是神经网络的基本单元。神经元先获得输入，然后执行某些数学运算。激活函数的作用是将无限制的输入转换为可预测形式的输出。后，再产生一个输出。
【Python_Selenium学习笔记（八）】基于Selenium模块实现滑块验证码破解
禾戊之昂的博客
04-18 1409
有些网站页面会在 访问时进行滑块验证，针对此问题，此篇文章中会介绍如何基于 Selenium 模块实现滑块验证码的破解 ，并以模拟登录豆瓣网，破解其滑块验证码 为例进行讲解。
PHP模拟登陆163邮箱发邮件及获取通讯录列表的方法
10-24
在PHP编程中，有时我们需要模拟用户登录到特定网站并执行某些操作，如发送邮件或获取数据。本示例聚焦于如何使用PHP通过cURL库模拟登录163邮箱，并实现发送邮件以及获取通讯录列表的功能。以下是实现这些功能的关键...
易语言破解网页锁定
08-19
4. **处理加密或混淆**：有时，网页锁定会用到加密或混淆技术，破解者需要理解并解密这些数据。易语言虽然没有内置强大的加密库，但可以通过调用第三方库或编写自定义算法来实现。 5. **代码编写**：在了解了整个...
易语言获取DZ论坛帖子
08-19
在实际应用中，这样的程序可能会遇到各种挑战，比如论坛的反爬策略、数据加密、验证码等。开发者需要不断优化代码，处理这些可能出现的问题，确保程序的稳定性和效率。同时，使用这样的工具时，也应遵守网站的使用...
网站获取QQ系统
07-13
3. **API接口**：如果网站提供了QQ系统的公开API，开发者可以通过API接口直接获取数据。API通常需要授权，可能需要OAuth或JWT等认证机制。理解这些接口的工作原理和使用方法，以及如何处理返回的数据格式（如JSON或...
Python模拟登录之滑块验证码的破解(实例代码)
12-26
模拟登录之滑块验证码的破解，具体代码如下所示： # 图像处理标准库 from PIL import Image # web测试 from selenium import webdriver # 鼠标操作 from selenium.webdriver.common.action_chains import ActionChains # 等待时间 产生随机数 import time, random # 滑块移动轨迹 def get_tracks1(distance): # 初速度 v = 0 # 单位时间为0.3s来统计轨迹，轨迹即0.3s内的位移 t = 0.3 # 位移/轨迹列表
VB获取QQ好友列表
07-04
总的来说，使用VB获取QQ好友列表并登录QQ空间是一个涉及网络通信、数据解析、协议模拟和用户界面设计的综合性项目，对于提升VB编程技能和理解网络通信有很好的实践价值。通过这个项目，开发者不仅可以深入理解VB的...
如何使用Python爬虫处理多种类型的滑动验证码
Z_suger7的博客
08-28 2921
通过绕过验证码和识别验证码的方法，我们可以成功爬取需要的数据。希望这些案例和建议能够帮助开发者更好地应对滑动验证码的挑战，并鼓励大家在爬虫开发中保持观察性、思考性和创新性的态度。例如，可以增加滑动距离的随机性，或者在滑动过程中加入鼠标轨迹的模拟。这样可以增加爬虫的识别难度。实例二：滑动验证码识别 有些网站的滑动验证码并不是通过Selenium模拟操作就能绕过的，因为它们使用了更复杂的算法来验证用户。通过观察和分析不同类型的滑动验证码，我们将设计出相应的算法来模拟用户滑动滑块的行为，从而成功通过验证码验证。
Python-入门爬虫篇(BS4)一看就懂
hongsegeming的博客
04-19 206
None新闻。
爬虫项目：破解极验滑动验证码
lmw的博客
01-18 2万+
一 介绍    一些网站会在正常的账号密码认证之外加一些验证码，以此来明确地区分人/机行为，从一定程度上达到反爬的效果，对于简单的校验码Tesserocr就可以搞定，如下    但一些网站加入了滑动验证码，最典型的要属于极验滑动认证了，极验官网：http://www.geetest.com/，下图是极验的登录界面    现在极验验证码已经更新到了 3.0 版本，截至 2017 年 7 月全球已有十
python爬虫基础（9：验证识别之滑块验证）
热门推荐
Jeeson_Z的博客
08-25 3万+
上篇我们借助 tesserocr 库解决了图片码的识别验证，但在实际生活中，用得更多的是滑动验证，这篇就来解决滑动验证的问题 滑动验证 大部分网站都采用的是滑动验证，就是拖动滑块拼接图片，其中又大都采用极验（http://www.geetest.com/）所提供的技术，官方网页如下 本篇案例选用哔哩哔哩动画验证登录（https://passport.bilibili.com/login）...
2019-ICPC银川区域赛K.Largest Common Submatrix（悬线法）
qq_45759861的博客
10-21 717
题目：https://nanti.jisuanke.com/t/42391 题意 两个nm的矩阵，矩阵中的数字从1~nm随意排列，求这两个矩阵的最大公共子矩阵。 题解 将给出的第一个矩阵从上至下，从左到右重新编号为原矩阵出现的位置，如下: 5 6 7 8 1 2 3 4 1 2 3 4 ——> 5 6 7 8 9 10 11 12
Requests模拟登陆与代理设置
weixin_50590724的博客
11-22 1222
一.登录页面信息爬取 1.cookie和session的定义 cookie是网站用来辨别用户身份,进行会话跟踪,储存在本地终端上的数据.他会在下一次请求的时候再一次携带并发送到浏览器上. session(回话)主要用来在服务器端存储特定用户对象回话所需的信息. 2.cookie和session产生的原因 HTTP 是无状态协议,每个请求都是完全独立的,服务器无法确认当前访问者的身份,服务器和浏览器为了进行会话的跟踪,必须主动去维护一个状态(告诉服务器前后两个请求是否来自同一个浏览器).这个状态需要通过coo

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值