九月镇灵将-CSDN博客

这里不会从零开始去展示站点字体反爬的破解流程，只是截取了部分混淆文本验证破解成功。一般来说对于自定义字体反爬都是使用fontTools将字体文件转成xml，然后多次对比发现不变的映射规律然后得到映射字典，但根据笔者的过往经验，有些站点的字体文件实在是很难发现不变的规律，搞起来太耗时了。这个时候要是有一个能传入一个字体文件就得到映射的话就完美了，来来来，这就引入正文。

2024-07-13 15:29:49 517

咱们做爬虫的或多或少都会遇到附件下载，一般情况站点提供的附件链接会直接声明文件的类型，但是有些提供的只是一个api，然后触发下载时再返回附件文本，这个时候我们是没法直接知道文件类型的，而我们使用requests下载并存储附件时是必须要定义好它的文件类型的，那有什么解决方案呢？是python内置库，它能映射文件名到 MIME 类型，使用下面命令可以得到文件的MIME 类型。但是研究发现像docx和zip是一样的标识，有些文件还不固定，大家看着用。依赖这个其实可以快速得出文件的类型，但是这个库。

2024-06-12 12:04:41 336

原创断点调试与插桩方法（以某音a_bogus为例）

以接口```aweme/v1/web/aweme/post/```为例（这是用户作品列表的接口），这个接口是```GET```请求，我们要找到`a_bogus`参数的生成位置。

2024-05-24 14:11:44 407

原创 Windows与Android实现Charles证书设置

Windows与Android实现Charles证书设置

2024-05-04 16:43:16 610 1

原创 jadx-gui添加dex文件失败，提示Bad checksum

之前都是使用jadx直接打开的apk文件，要添加dex文件时突然添加失败并报错。也就是会校验dex的checksum，直接关闭会导致dex文件反编译失败。解决方案：查日志后得到关闭校验即可。

2024-05-03 11:32:44 323

原创 python与pycharm如何设置文件夹为源代码根目录

相信大家遇到过下面这种情况当我们在当前项目下引入了其它项目的代码，这是其它项目的包的导入路径是不用于当前项目的，这样导致项目无法正常起来，但是我们又不可能一个个文件去处理，这时可以用下面的方式解决。

2024-04-22 16:39:00 1722

原创 Scrapy与分布式开发：MongoDB安装与快速入门

MongoDB 是一个面向文档的数据库系统，使用 BSON（Binary JSON）格式存储数据，提供了高性能、高可用性和易扩展性。它专为 Web 应用和大数据场景设计，通过简单的数据模型、强大的查询功能和灵活的扩展性，成为现代应用开发的热门选择。

2024-03-09 11:36:18 877

原创 Scrapy与分布式开发(2.8)：布隆过滤器原理及应用

**布隆过滤器（Bloom Filter）** 是一种空间效率极高的概率型数据结构，用于测试一个元素是否在一个集合中。它的优点是空间效率和查询时间都远超过一般的算法，缺点是有一定的误识别率和删除困难。

2024-03-05 16:14:54 920

原创 Scrapy与分布式开发(3)：Scrapy核心组件与运行机制

Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架。它使用Python语言编写，并基于异步网络框架Twisted来实现高性能的爬虫。Scrapy最初是为了页面抓取（更确切地说是网络抓取）而设计的，但它也可以用于获取API返回的数据或通用的网络爬虫。

2024-03-05 10:15:42 1371

原创 Scrapy与分布式开发(2.4)：bs4+css基本指令和提取方法详解

CSS选择器是网页开发中不可或缺的工具，它们让我们能够精确地定位和选择HTML文档中的元素。在爬虫领域多用于从网页中提取和解析数据。本教程将结合网上教程，提供一份详细的CSS选择器使用指南，并深入探讨更多的指令和API。

2024-03-04 17:11:44 1005

原创 Scrapy与分布式开发(2.3)：lxml+xpath基本指令和提取方法详解

XPath，全称为XML Path Language，是一种在XML文档中查找信息的语言。它允许用户通过简单的路径表达式在XML文档中进行导航。XPath不仅适用于XML，还常用于处理HTML文档。

2024-03-04 16:11:27 1222

原创 Scrapy与分布式开发(2.6)：谈谈常用采集策略与应用场景

一个好的采集策略能够提高采集效率，在有限资源下带来更好的适应性和灵活性，从而提高采集质量。

2024-02-29 10:00:00 64

原创 Scrapy与分布式开发：框架原生去重机制源码解析与不足分析

在网络爬虫和数据采集领域，去重机制是一个至关重要的环节。随着互联网的迅速发展，数据量呈爆炸式增长，如何在海量数据中高效地筛选出有价值且唯一的信息，成为了一个亟待解决的问题。去重机制正是为了解决这一问题而诞生的。

2024-02-28 16:57:04 401

原创 Scrapy与分布式开发(2.5)：自动化工具playwright

Playwright 是一个无头浏览器测试库，它允许你使用 Python 脚本控制浏览器自动化，执行各种浏览器操作，如点击、填写表单、导航至页面等。Playwright 支持 Chromium (包括 Chrome 和 Edge)、Firefox 和 Webkit (包括 Safari) 这三种主流的浏览器引擎。与 Selenium 类似，Playwright 同样可以模拟用户行为，但它提供了更简洁的 API 和更少的配置。

2024-02-28 10:41:58 347

原创 Scrapy与分布式开发(1.2)：开发环境搭建

Anaconda是一个流行的Python数据科学平台，它包含了许多用于数据分析和科学计算的软件包。Anaconda使用conda作为其包管理和环境管理系统。也可以在进入项目后，点击右下角进入环境选择界面，同时支持创建新环境。安装完成后，打开pycharm，新建项目。当本机安装有python环境时会自动引入。下载，下载后按照以下流程图片安装即可。，下载成功后根据以下流程图片安装即可。官网下载太慢，我们通过。

2024-02-28 09:51:23 52

原创 Scrapy与分布式开发(2.9)：pyexecjs

`pyexecjs`是一个Python模块，它允许你在Python环境中执行JavaScript代码。它提供了一个简单而强大的接口，使得Python和JavaScript之间的交互变得容易。通过`pyexecjs`，你可以调用JavaScript引擎来执行JavaScript代码，并将结果返回给Python。

2024-02-27 17:27:46 71

原创 Scrapy与分布式开发(2.2)：正则表达式

正则表达式是一种强大的文本处理工具，它使用特定的模式来搜索、匹配和替换文本。Python的`re`模块（正则表达式模块）提供了正则表达式匹配操作的所有功能。

2024-02-27 17:05:03 196

原创 Scrapy与分布式开发(2.1.3)：python常用网络请求库urllib3

urllib3 是一个 Python 库，用于发送 HTTP 请求。它是 urllib 和 urllib2 的后续版本，并提供了更高级的功能和更好的性能。urllib3 支持 HTTP/1.1 和 HTTP/2 协议，并具有连接池、自动重试、文件上传/下载等特性。

2024-02-27 16:45:21 60

原创 Scrapy与分布式开发(2.1.2)：python常用网络请求库httpx

`httpx` 是一个用于发送 HTTP 请求的 Python 库，它提供了简单易用的 API，支持同步和异步请求，并且具有出色的性能和灵活性。`httpx` 是 `requests` 的一个现代替代品，它使用 `httpcore` 作为底层传输层，支持 HTTP/1.1 和 HTTP/2 协议。

2024-02-27 16:34:36 552

原创 Scrapy与分布式开发(2.1.1)：python常用网络请求库requests

`requests`是Python中一个非常流行且功能强大的HTTP客户端库。它允许你使用Python语言发送所有类型的HTTP请求，如GET、POST、PUT、DELETE等。`requests`模块基于urllib3开发，但比urllib3更加简单易用。它提供了丰富的API，使得发送HTTP请求和处理响应变得轻而易举。

2024-02-27 16:17:30 63

原创 Scrapy与分布式开发(1.1)：课程导学

在这个专栏中，我们将一起探索Scrapy框架的魅力，以及如何通过Scrapy-Redis实现分布式爬虫的开发。

2024-02-27 15:13:03 856

原创 Scrapy与分布式开发：scrapy实现自定义代理中间件

ip检测是比较常规的反爬手段，一般站点会限制ip的访问频率，或者根据ip的访问规律和频率来识别异常访问，从而点对点封ip。相信大家对代理ip并不陌生，这是ip反爬的绕过方式，且进一步衍生出代理池。

2024-02-06 16:06:56 1689

原创 Scrapy与分布式开发：scrapy下载中间件实现动态切换User-Agent

请求头User-Agent是比较常规的反爬手段，不同站点对其检测机制各异，有的是检测是否是合规的浏览器User-Agent，有的是在这基础上检测使用次数与频率，更有甚者是跟ip和cookie绑定在一起检测，这就要求我们能够动态去切换User-Agent（随机or判定切换）。

2024-02-05 12:48:54 1983

原创 Scrapy与分布式开发：scrapy-redis源码分析并实现自定义初始请求

scrapy-redis源码分析并实现自定义初始请求

2024-02-02 16:28:27 1487

原创 Scrapy与分布式开发：原生scrapy如何接入scrapy-redis，初步入局分布式

scrpy-redis与原生scrapy的差异主要是把名单队列服务器化，也是存储在redis服务中，从而实现分布式，当然还有piplines采集结果数据的存储差异化，它也可以存储到redis中，实现数据存储分布式。

2024-02-02 14:31:01 1104

原创 Scrapy与分布式开发：scrapy实现按脚本name与日期生成日志文件

scrapy实现按脚本name与日期生成日志文件

2024-01-27 10:41:51 499

原创逆向效率提升工具与方法汇总（持续更新...）

逆向开发效率提升工具和方法汇总，在便于自己的同时希望能帮助他人解决问题，也欢迎大家提供工具和方法！

2023-05-07 15:18:36 1446

原创【五一创作】某头条参数破解并实现界面化搭建

趁着日常闲余时间，想着搞一搞某头条的反爬，练练手，想到自己很久没开发过前端界面了，有点生疏，也趁此机会用flask开发一个简单的搜索界面（真的很简单…）整个流程搞下来还是花了点时间的，当然这个有点简单，不具备实际使用场景，有些隐藏的风控和难点会在使用量一上去就初心，所以练练手就行…

2023-04-29 21:49:27 1706 2

原创爬虫逆向学习(五)：使用RPC框架serkio解决逆向难题

最近在工作中遇到了一个反爬虫产品，处于技术能力和新产品迭代更新快的考虑，最后选择使用RPC技术解决问题，因为serkio框架帮我们封装好了服务，且自身具备一定的负载均衡能力，所以选择它作为RPC实现方案。新手入门请参考K哥的文章，我也是通过这篇继续学习的。RPC 技术及其框架 Sekiro 在爬虫逆向中的应用，加密数据一把梭当我们不考虑去逆向js来实现加密参数的话，可以考虑使用RPC 技术，它不需要加载多余的资源，稳定性和效率明显都更高，也不需要考虑浏览器指纹、各种环境。

2023-04-07 12:47:56 2055 2