反爬虫与反反爬虫技术

1.反爬虫技术

首先我们来思考一下，为什么要反爬虫？

• 网络中充斥大量爬虫的情况下，会使得整个网络的数据不可靠。
• 网站在面对高并发爬虫的攻击时，很容易被击溃。
• 版权数据被爬取，对于网站来说是巨大的损失。

基于以上原因，反爬虫技术孕育而生，主要包含以下最常用的反爬技术：

• 封IP
  后台对访问进行统计，如果单个IP访问超过阈值，则封锁该IP。
• 封UserAgent
  后台对访问进行统计，如果单个UserAgent访问超过阈值，则封锁该UserAgent。
• 封Cookie
  后台对访问进行统计，如果单个cookies访问超过阈值，则封锁该cookie.
• 设置请求时间间隔
  设置请求时间间隔，规避过于频繁的请求访问，避免爬虫短时间爬取大量数据。
• robots.txt协议
  robots.txt是一个限制爬虫的规范，该文件是用来声明哪些东西不能被爬取； 设置robots.txt协议，位于robots.txt中的UserAgent不可请求网站数据。
• 验证码验证
  发生大量请求时，弹出验证码验证，通过验证方可继续访问。
• JavaScript渲染网页
  将重要信息放在网页中但不写入html标签中，而浏览器会自动渲染标签中的js代码，将信息展现在浏览器当中，而爬虫是不具备执行js代码的能力，所以无法将js事件产生的信息读取出来。
• ajax异步传输
  访问网页的时候服务器将网页框架返回给客户端，在与客户端交互的过程中通过异步ajax技术传输数据包到客户端，呈现在网页上，爬虫直接抓取的话信息为空。
• 网页iframe框架嵌套
  在下载框处再内嵌一个窗口，使得爬虫提取不到内层窗口的数据。

2.反反爬虫技术

有反爬虫技术，就会有反反爬虫技术存在，这是两种相互对抗的技术；这两种技术也在相互对抗中不断发展。

我们在编写爬虫时，要对获取海量的免费数据心怀感恩，而不是恶意攻击网站，这是一种害人害己的形为。

常用的反反爬虫技术有以下这些：

---

• 降低请求频率
  对于基于scrapy框架构建的爬虫，在配置文件settings.py中设置DOWN-LAOD_DELAY即可。
  以下代码设置下载延迟时间为4秒，即两次请求间隔4秒。

DWONLOAD_DELAY = 4

或设置RANDOMIZE_DOWNLOAD_DELAY，定义一个随机的请求延迟时间。

RANDOMIZE_DOWNLOAD_DELAY = True

---

• 修改请求头
  

---

• 禁用Cookie
  有些网站会通过Cookie来发现爬虫的轨迹，如非特殊需要，禁用Cookie可以切断网站通过Cookie发现爬虫的途径。
  对于基于scrapy框架构建的爬虫，在配置文件settings.py中设置COOKIES_ENABLED即可。

#Disable cookies (enabled by default)
COOKIES_ENABLED = False

---

• 伪装成不同的浏览器
  Scrapy自带专门设置User-Agent的中间件UserAgentMiddleware，在爬虫运行中，会自动将User-Agent添加到HTTP请求中，并且可以设置多个浏览器，请求时可以随机添加不同的浏览器。

1.设定浏览器列表。
将浏览器列表定义至settings.py文件中：

MY_USER_AGENT = ["Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NETCLR 1.1.4322; .NET CLR 2.0.50727)", \
                 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser;SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", \
                 "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; WindowsNT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", 
                 ]

2.在中间件UserAgentMiddleware中从浏览器列表中随机获取一个浏览器。

#导入UserAgentMiddleware组件模块

from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
import random                                               #导入随机模块

from qidian_hot.settings import MY_USER_AGENT       #导入浏览器列表

#定义类QidianHotUserAgentMiddleware，用于设置随机设置user-agent
#继承于UserAgentMiddleware

class QidianHotUserAgentMiddleware(UserAgentMiddleware):
    #处理Request请求函数

    def process_request(self, request, spider):
      #使用random模块的choice函数从列表MY_USER_AGENT中随机获取一个浏览器类型

      agent = random.choice(list(MY_USER_AGENT))
      print("user-agent:", agent)                     

      #将User-Agent附加到Reqeust对象的headers中

      request.headers.setdefault('User-Agent', agent)

3.启用中间件UserAgentMiddleware。

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
  'qidian_hot.middlewares.QidianHotDownloaderMiddleware': None,
  'qidian_hot.middlewares.QidianHotUserAgentMiddleware': 100,
}

---

• 使用HTTP代理服务器
  HTTP代理服务器功能就是代理网络用户取获取网络信息，它相当于客户端浏览器和网站服务器之间的信息中转站。
  在爬虫中采用大量的随机代理服务器访问某个网站，则该网站很难检测出爬虫。
  

---

参考文献

盘点一些网站的反爬虫机质
功能强大的python包（八）：Scrapy （网络爬虫框架）