Jesse_Kyrie的博客

这是一篇通俗易懂的讲解正则解析页面的方法论。是牛🐂是马🐎，你来瞅瞅👁👁

介绍一下scrapy中items.py，middlerwares.py，pipelines.py，settings.py的作用与简单示例。

基于scrapy开发爬虫，实现基础爬虫，分页爬虫，多级爬虫等功能，并使用scrapy_redis改写为分布式爬虫。

详细介绍scrapy核心组件spider,middleware item pipeline的使用，代码复用度高，示例可拓展开发。

一些常见的爬虫面试题，帮助复习。包含常用页面数据解析，爬虫登录，selenium爬虫，以及scrapy爬虫

Xpath 中根据索引定位节点数时，索引从 1 开始

针对需要登录的网站提供可行的登录方案与接口分析技巧，帮助大家更好得提升爬虫技术。

获取到响应结果内包含加密内容，调试代码获取到DES解密所需的密钥等数据。nodejs还原解密方法，并通过python调用

采用chrome断点调试与跟栈方法，逆向请求头参数x-apiKey。根据参数特性，base64解码

手撕混淆代码，熟练使用断点调试方法，解密每一个参数。

通过浏览器断点调试技术，补充加密函数的各个依赖，完成sign参数逆向。

Scrapyd是一个基于Scrapy的工具，用于部署、运行和监控Scrapy爬虫。它简化了爬虫的部署过程，使爬虫可以在分布式环境中运行。Scrapyd提供了Web API，可以通过HTTP请求来管理和监控爬虫，包括部署、运行、和检查状态等操作。要使用Scrapyd，首先安装它，然后启动Scrapyd服务器。如果需要在多台机器上部署，可以修改默认配置，以使Scrapyd可以在公开网络中访问。Gerapy是一个分布式爬虫管理框架，用于创建、调度和监控爬虫

Scrapy默认会自动处理302重定向请求，其最大重定向次数为20。如果需要自定义重定向处理，可以通过下载中间件进行实现。默认情况下，Scrapy对请求会进行3次尝试，可在settings.py中修改RETRY_TIMES参数来调整重试次数。 Scrapy允许修改重试次数，最大值为20次。

使用docker-compose与docker命令的方式创建单机版kafka，并安装好用的可视化界面kafka-map。

接口响应结果加密，直接通过关键词搜索，手撕js源码，完美解密。

基于redis数据库建立动态ip代理池，维持爬虫稳定性与高速。

通过nodejs编写了关键参数token的生成方法，并已经通过了测试。token参数是动态变化的，整个逆向过程涉及sha1.base64等加密算法与实用调试技巧。

YD fanyi.youdao.com翻译新版，修改过的AES解密，响应结果为加密的数据，解密后是json

响应结果加密反爬破解，响应采用AES解密

在爬虫领域，我们通常使用requests库来获取响应状态码，但对于Selenium爬虫，我们同样可以通过高级技巧实现这一功能。本文将向你展示如何通过Selenium WebDriver执行JavaScript脚本，智能地获取网页的响应状态码，让你的爬虫更具专业性和实用性！

在爬虫领域，使用Selenium作为工具之一能够高效地获取数据，但频繁请求可能会导致IP封禁。本文将向你介绍解决这一问题的绝佳方法：Selenium结合代理技巧。不仅仅是添加代理，我们还将分享更便捷、更智能的操作，让你轻松避开封禁陷阱！

基于浏览器爬虫，通过add_cookie方法添加已知的cookie，直接绕过登陆，获取数据。

基于python的常见数据持久化方案。

通过分析数据接口，定位数据请求重要参数Authorization,分析参数产生过程，并实现登录。最后实现完整登录爬虫到数据爬虫整个过程。

分析ajax加载接口，并逐步定位数据。

介绍了爬虫过程中遇到的两种页面类型【静态、动态】，解释了cookie和session的概念与用户会话保持原理。最后提供了一个登录爬虫案例。

介绍了爬虫的基本概念与原理、python开发爬虫的优势解析了爬虫过程中可能遇到的问题，以及渲染的问题。

详细介绍了常见的网页的结构，并使用简单的示例，介绍业内广泛使用的静态页面解析方案：css选择器和xpath选择器。相信你可以通过学习此博客，熟练掌握静态页面解析方法，进阶爬虫技术。

请求与响应的详细介绍，python requests模块的基础使用

对热搜的接口进行了分析，通过爬虫复现了请求过程，并获取到了热搜接口的响应结果[html页面源码]

爬虫专栏简介，给读者的留言。

爬虫分析请求时，不能忽略请求头中的字段，很多很多情况下，可能请求头参数是加密的，或者是一个固定值，在发送请求时，需要带上。

requests+cookie实现登录爬虫

python下载谷歌瓦片地图