![](https://i-blog.csdnimg.cn/blog_migrate/b169d0aec0105f3bfe5ee1bb509c9ac9.gif#pic_center)
✅作者简介:人工智能专业本科在读,喜欢计算机与编程,写博客记录自己的学习历程。
🍎个人主页:小嗷犬的博客
🍊个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。
🥭本文内容:Python 反爬虫与反反爬虫
什么是爬虫
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
大家可以理解为在网络上爬行的一只蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,如果它遇到自己的猎物(所需要的资源),那么它就会将其抓取下来。比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的链接,那么它就可以爬到另一张网上来获取数据。
为什么要反爬虫
反爬虫,即使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。
如果不反爬虫,会有人不断的发起请求获取数据,动态服务器会有大量的异常错误或者正常的意外流量,流量被浪费在了(程序员/组织)获取数据上,而不是分发数据(给用户)上。
这对网站官方会造成极大的负面影响,所以要反爬虫。
反爬虫的手段
基于请求头
反爬虫首先是基于请求头的,爬虫程序的请求头通常与用户使用的浏览器的请求头不同,通过请求头,可以筛除很大一部分的程序请求。
基于用户行为
反爬虫手段还可以基于用户行为,对于一些异常行为,比如1秒内提交数十次请求,后台就可以认定发出请求的用户可能不是人,通过封锁此类用户的IP来达到反爬虫的效果。
反反爬虫
设置请求头
通过设置请求头,我们的爬虫程序可以伪装成浏览器,从而避免反爬虫系统的怀疑。
我们可以使用 fake_useragent 库,它其中包含了一个
UserAgent
类可以帮助我们生成不同的请求头。
fake_useragent 库是第三方库,所以第一步是安装:
pip install fake_useragent
接着导入 fake_useragent 库:
from fake_useragent import UserAgent
然后使用方法也很简单:
from fake_useragent import UserAgent
# 创建一个 UserAgent对象
ua = UserAgent()
# 随机获取 User-Agent
print(ua.random)
# 随机生成 ie的 User-Agent
print(ua.ie)
# 随机生成 opera的 User-Agent
print(ua.opera)
# 随机生成 chrome的 User-Agent
print(ua.chrome)
# 随机生成 google的 User-Agent
print(ua.google)
# 随机生成 firefox的 User-Agent
print(ua.firefox)
# 随机生成 safari的 User-Agent
print(ua.safari)
将包含生成的
User-Agent
的请求头作为发送请求时的参数,就可以实现伪装浏览器请求。
设置间隔时间
高频请求会引起反爬虫系统的反应,我们需要将爬虫程序伪装得更像一个真人,通过降低请求频率就可以进行伪装。
我们通常是使用设置间隔时间的方式来降低频率,这里我们会使用到
time
库。
time
库是 Python 内置的标准库,直接导入就可以使用:
import time
time
库提供了一个sleep()
方法,它可以根据输入的参数暂停程序一段时间:
import time
print('小嗷犬')
time.sleep(5)
print('嗷嗷嗷')
其中,
sleep()
方法所用的单位是秒(s)。
尽量确保我们的爬虫程序每次请求之间间隔一段时间,以此来避免被反爬虫系统监测。
同时我们还可以结合
random
,来使间隔时间更加自然:
import time
import random
for i in range(10):
print(i)
time.sleep(random.random() * 3)
爬虫协议
robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个
robots.txt
文件来告诉其他人哪些页面可以抓取,哪些页面不能抓取,而其他人则通过读取robots.txt
文件来识别这个页面是否允许被抓取。
robots协议是国际互联网界通行的道德规范,基于以下原则建立:
- 搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权
- 网站有义务保护其使用者的个人信息和隐私不被侵犯
但是,这个robots协议不是防火墙,也没有强制执行力,爬虫程序完全可以忽视
robots.txt
文件去抓取网页的快照。
robots协议并不是一个规范,而只是约定俗成的,所以并不能真正保证网站的隐私,它只是互联网界的一种君子协定,需要我们自觉遵守。