最详细的爬虫逆向面试题（建议收藏）

0.o

爬虫逆向面试题

本文内容皆为面试中出现的问题，大概整理了一些，答案并不唯一，仅供参考。

HTTS三次握手

目前使用的 HTTP/HTTPS 协议是基于 TCP 协议之上的，因此也需要三次握手。在 TCP 三次握手建立链接之后，才会进行 SSL 握手的过程（即身份认证和密钥协商的过程）。

第一步：证书验证

服务器将 crt 公钥以证书的形式发送到客户端，客户端验证证书是否合法。

第二步：获取对称密钥

• 客户端用随机数和 hash 签名生成一串对称密钥（即随机钥，客户钥），然后用 crt 公钥对对称密钥进行加密。
• 客户端将加密后的对称密钥发送给服务器。
• 服务器用 crt 私钥解密，取出对称密钥。

第三步：传输加密数据

• 服务器用随机钥来加密数据，发送加密的网页内容。
• 客户端通过本地存储的随机钥对密文进行解密并判断是否被篡改，如果没有篡改，后面的数据通讯将使用对称加密传输所有内容。

对称和非对称加密

• 对称加密：在编码时使用的密钥 e 和解码时一样 d（即 e = d）。（DES、3DES、AES）
• 非对称加密：加密的密钥 e 和解密的密钥 d 是不同的（即 e != d），并且加密的密钥 e 是公开的，叫做公钥，而解密的密钥 d 是保密的，叫私钥。（RSA、DSA、ECC）

web逆向参数定位方法

1、全局搜索

2、xhr拦截

3、堆栈调试

4、Hook脚本

5、内存漫游

浏览器指纹

常用于记录的浏览器指纹：

Header、Cookie，IP，DNS，

UserAgent，Font（字体列表），

Language，localStorage、

Plugin（插件），Canvas（渲染绘图），

WebGL（3D渲染图形），

Web Vendor（硬件厂商信息），

Timezone（时区），Platform（系统），

WebRTC（web通信API），

ScreenResolution（分辨率），

Audio（音频设置和硬件特征指纹），

enumerateDevices（其他媒体设备），

CPU、GPU信息。

web逆向其他问题

1、常见检测和绕过：反调试之类

2、如何获取当前环境：Proxy

3、hook如何实现的

4、如何hook XHR

5、加解密和混淆处理

345可到工具站查看，地址：

cnlans.com/lx/tools/jshook

chromedriver检测

常见的检测点：

webdriver

user-data-dir

language

navigator

plugins

Developer

可在页面加载之前通过Js语句覆盖原有属性。

Object.defineProperty(

    navigator, 'webdriver', { 

        get: () => undefined 

    }

)

验证码识别和处理

通用逆向分析流程

·1.分析请求流程

·2.验证码注册

·3.识别验证信息

·4.生成验证参数

·5.验证

识别方法

·1.开源工具识别

·2.第三方平台

·3.训练识别模型，可借助云平台或开源框架

验证码厂家：极验、阿里、易盾、顶象、点触、数美。

极验简述

·1.主要有三个以 geetest_ 开头的加密参数，提交滑块时的请求参数 gt、challenge、lang、w、callback。

·2.分析时可对代码进行 Unicode 解码，解码之后再通过AST脚本去除冗余代码。

·3.调试后抽离出请求参数的加密逻辑，构造请求体完成验证。

数美流程

·1.验证码申请

·2.提取js参数，需要提取js中的参数名。

·2.验证码注册，获取滑块图片和验证背景图。

·3.计算滑块缺口位置，可使用opencv等工具计算缺口距离。

·4.构造轨迹，自动生成或者copy轨迹库。

·5.逆向分析接口参数，完成提交验证。

动态cookie反爬

加速乐简述

1、第一次请求返回状态为521的响应内容，执行JS可获得cookie值 jsl_clearance。

2、cookie带上生成的__jsl_clearance和第一步中返回的cookie值__jsluid_h再次请求目标网址，响应内容为一段混淆JS代码，该代码为生成真实__jsl_clearance值的代码。

3、主要加密逻辑就是对参数做拼接处理，然后对拼接后的字符串进行hash加密。

瑞数流程

1、第一次请求后，浏览器加载meta，meta是包含动态content的html标签，会在eval执行第二层JS代码时使用到。

2、浏览器请求外链JS，一般同站外链JS是固定的，用于下一步的调用。

3、加载自执行函数(动态)，将外链的JS解密为字符串，并给window.$_ts添加属性。然后通过eval函数进入VM执行解密后的字符串，执行完毕后可生成cookie。

瑞数处理

1、先处理定时器和死循环debugger。

2、将HTML放到本地运行或将浏览器JS替换为固定内容。

3、将content和自执行方法在本地调试，根据VM执行的异常信息补环境。

4、主要需要补充document、localStorage和window中的一些方法，如addEventListener、getElementsByTagName、createElement等。

安卓逆向分析步骤

1、抓包

2、查壳脱壳

3、反编译

4、参数定位、静态分析、动态调试

5、模拟调用、算法还原

xposed hook原理

安卓所有的APP进程是用 Zygote(孵化器)进程进行fork创建并启动的。

Xposed替换了Zygote进程对应的可执行文件/system/bin/app_process,每启动一个新的进程，都会先启动xposed替换过的文件，加载xposed相关代码。

Frida hook原理

Frida的注入是基于 ptrace实现的。frida 调用ptrace向目标进程注入了一个frida-agent-xx.so文件。后续hook是以该so文件和frida-server通讯实现的。

Frida hook java层原理

Frida-java采用常见的Dalvik Hook方案，将待hook的java函数修改为native函数，当调用该函数时，会执行自定义的native函数。

但是和其他hook框架不同的是，使用frida时，我们hook的代码是JS实现的，所以有一个基于JS代码生成native函数过程。

ptrace注入流程

主要是通过系统ptrace函数进行实现。

    1.attach到远程进程；

    2.保存寄存器环境

    3.远程调用mmap函数分配内存空间

    4.想远程进程写入加载模块名称和调用函数

    5.通过dlopne打开注入模块

    6.dlsym获取调用函数地址

    7.远程调用注入模块的函数

    8.恢复寄存器

    9.剥离远程进程

Frida常见反调试

1. 检测 frida-server 文件名

2. 检测 27042 默认端口

3. 检测 D-Bus

4. 检测 /proc/pid/maps 映射文件

5. 检测 /proc/pid/tast/tid/stat

6. 双进程保护

• 前两种可以通过修改 frida-server 文件名，改默认端口绕过。
• 双进程可以通过 - f spawn 模式启动绕过。
• 其他的需要 hook 修改。

Inlinehook

• inlinehook是hook的一种实现方式。通过修改原函数开头的汇编指令，直接跳转到指定函数，执行完自己的逻辑再跳转回来。
• 开源的inlinehook库有很多，例如subhook和微软的Detours。

如何去检测inlinehook

inlinehook只修改了内存中的机器码，而内存中的机器码是从文件加载而来的，所以我们可以将函数在内存中字节和本地对应的字节进行比较，如果不一致，那么可以认为内存中的字节被修改了，即被inlinehook了。

加固与脱壳

现在安卓平台上几种加固方式（动态加载，类抽取，混淆，vmp）

1、Dex整体加固也被称为第一代加固，把DEX整体加密然后动态加载。脱壳思路是app运行后，在app内存中搜索 dex\n035，然后进行dump数据。

2、不落地加载是第二代加固，通过内存动态加载Dex，可以将Dex加密放在Apk中，在内存中实现解密。脱壳思路是通过hook关键函数，直接在内存中把Dex遍历出来就可以。

3、指令抽取和转换。脱壳思路是对自定义的JNI接口对象进行内部调试分析，得到完整的原始dex文件。

4、虚拟机源码保护。根据VMProtect壳的特征和加壳方式，编写脱壳程序还原原始的程序代码，将还原后的程序代码重新编译，生成程序可执行文件。

设备指纹

常见：品牌型号、IMEI、MAC地址、IMSI、运营商、系统信息、硬件信息、蓝牙信息、路由信息等。

其他安卓问题

1、系统服务

2、系统权限

3、安卓反调试

4、重打包检测

5、ollvm

6、不同协议的抓包问题

7、群控开发、改机

8、IDA使用问题

9、ARM跳转指令

不过不用担心，我们准备了一门非常系统的爬虫课程，除了为你提供一条清晰、无痛的学习路径，我们甄选了最实用的学习资源以及庞大的主流爬虫案例库。短时间的学习，你就能够很好地掌握爬虫这个技能，获取你想得到的数据。

01 专为0基础设置，小白也能轻松学会

我们把Python的所有知识点，都穿插在了漫画里面。

在Python小课中，你可以通过漫画的方式学到知识点，难懂的专业知识瞬间变得有趣易懂。

你就像漫画的主人公一样，穿越在剧情中，通关过坎，不知不觉完成知识的学习。

02 无需自己下载安装包，提供详细安装教程

03 规划详细学习路线，提供学习视频

04 提供实战资料，更好巩固知识

05 提供面试资料以及副业资料，便于更好就业

这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要也可以扫描下方csdn官方二维码或者点击主页和文章下方的微信卡片获取领取方式，【保证100%免费】