超强反爬虫方案！Requests 什么的通通爬不了

一个非常强的反爬虫方案 —— 禁用所有 HTTP 1.x 的请求！

现在很多爬虫库其实对 HTTP/2.0 支持得不好，比如大名鼎鼎的 Python 库 —— requests，到现在为止还只支持 HTTP/1.1，啥时候支持 HTTP/2.0 还不知道。

Scrapy 框架最新版本 2.5.0（2021.04.06 发布）加入了对 HTTP/2.0 的支持，但是官网明确提示，现在是实验性的功能，不推荐用到生产环境，原文如下：

“

HTTP/2 support in Scrapy is experimental, and not yet recommended for production environments. Future Scrapy versions may introduce related changes without a deprecation period or warning.

”

插一句，Scrapy 中怎么支持 HTTP/2.0 呢？在 settings.py 里面换一下 Download Handlers 即可：

DOWNLOAD_HANDLERS = {
    'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler',
}

当前 Scrapy 的 HTTP/2.0 实现的已知限制包括：

• 不支持 HTTP/2.0 明文（h2c），因为没有主流浏览器支持未加密的 HTTP/2.0。

• 没有用于指定最大帧大小大于默认值 16384 的设置，发送更大帧的服务器的连接将失败。

• 不支持服务器推送。

• 不支持bytes_received和 headers_received信号。

关于其他的一些库，也不必多说了，对 HTTP/2.0 的支持也不好，目前对 HTTP/2.0 支持得还可以的有 hyper 和 httpx，后者更加简单易用一些。

反爬虫

所以，你想到反爬虫方案了吗？

如果我们禁用所有的 HTTP/1.x 的请求，是不是能通杀掉一大半爬虫？requests 没法用了，Scrapy 除非升级到最新版本才能勉强用个实验性版本，其他的语言也不用多说，也会杀一大部分。

而浏览器对 HTTP/2.0 的支持现在已经很好了，所以不会影响用户浏览网页的体验。

措施

那就让我们来吧！

这个怎么做呢？其实很简单，在 Nginx 里面配置一下就好了，主要就是加这么个判断就行了：

if ($server_protocol !~* "HTTP/2.0") {
  return 444