服务器救星！Python实现反爬虫

环境

Python3.12

安装fastapi

pip install "fastapi[all]"

代码

from fastapi import FastAPI, Response
from fastapi.responses import FileResponse

app = FastAPI()

@app.get('/')
def index():
    resp = FileResponse('data.gz')
    resp.headers['Content-Encoding'] = 'gzip'  # 说明这是gzip压缩的数据,否则请求时是乱码
    return resp

VSCode选择编译器环境

Cmd+Shift+P选择 Python : Select Interpreter

运行服务

uvicorn server:app

Uvicorn 简介

uvicorn是一个基于asyncio开发的一个轻量级高效的web服务器框架

uvicorn 设计的初衷是想要实现两个目标：
使用uvloop和httptools 实现一个极速的asyncio服务器
实现一个基于ASGI（异步服务器网关接口）的最小应用程序接口。

目前支持http, websockets, Pub/Sub 广播，并且可以扩展到其他协议和消息类型。

安装使用
uvicorn 仅支持python 3.5.3以上版本，我们可以通过pip3来快速的安装。

压缩数据包

将文本文件压缩成gz压缩包

cat hello.txt | gzip > data.gz

客户端请求

import requests

resp = requests.get('http://127.0.0.1:8000/').text
print(resp)

不带resp.headers[‘Content-Encoding’] = 'gzip’时运行后乱码

带resp.headers[‘Content-Encoding’] = ‘gzip’ 时返回解析压缩包后的数据

使用压缩数据包原理

文本内容为192个1。相当于把192个字符压缩成了5个字符，压缩率高达97.4%。
可以把一个1GB的文件压缩成1MB，那么对服务器来说，仅仅是返回了1MB的二进制数据，不会造成任何影响。但是对客户端或者爬虫来说，它拿到这个1MB的数据以后，就会在内存中把它还原成1GB的内容。这样一瞬间爬虫占用的内存就增大了1GB。如果我们再进一步增大这个原始数据，那么很容易就可以把爬虫所在的服务器内存全部沾满，轻者服务器直接杀死爬虫进程，重则爬虫服务器直接死机。

mac命令

dd if=/dev/zero bs=1048576 count=1000 | gzip > boom.gz

执行完后生成的文件只有995K,

linux命令

# dd: 是一个命令行工具，用于转换和复制文件。这里用来生成一个特定大小的文件。
# if=/dev/zero: 指定输入文件（if代表input file）。/dev/zero是一个特殊的文件，读取会产生无限的零（\0字符）。
# bs=1048576: bs代表“block size”，即每个块的大小。1048576字节等于1MB。这意味着dd命令在每次读写操作中处理1MB的数据。
# count=1000: 这指定dd命令需要复制的块数。因为每个块是1MB，count=1000意味着总共复制1000MB，即1GB的数据。
# | gzip: 这个部分使用管道（|）将dd命令的输出直接传递给gzip命令，后者是一个压缩工具。这意味着生成的1GB数据会被gzip压缩。
# > boom.gz: 最后，>将压缩后的数据重定向到一个名为boom.gz的文件中。如果文件已经存在，它会被覆盖；如果不存在，则会被创建。
dd if=/dev/zero bs=1M count=1000 | gzip > boom.gz

把数据包换成boom.gz

import requests
import sys

resp = requests.get('http://127.0.0.1:8000/').text
print(sys.getsizeof(resp)/1024/1024+"GB")

请求期间可以看到内存在持续的增加

浏览器直接请求http://127.0.0.1:8000/

这样在确定爬虫IP的时候拦截请求把请求重定向到这个地址即可。

---

最后这里免费分享给大家一份Python全台学习资料，包含视频、源码。课件，希望能帮到那些不满现状，想提升自己却又没有方向的朋友，也可以和我一起来学习交流呀。

编程资料、学习路线图、源代码、软件安装包【点击这里】领取！

① Python所有方向的学习路线图，清楚各个方向要学什么东西
② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例，学习不再是只会理论
④ 华为出品独家Python漫画教程，手机也能学习
⑤ 历年互联网企业Python面试真题,复习时非常方便

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。