python 破解网站反爬虫的两种简单方法

最新推荐文章于 2023-12-02 19:00:00 发布

DA1YuH

最新推荐文章于 2023-12-02 19:00:00 发布

阅读量5.4k

点赞数 12

分类专栏： python 反爬虫文章标签： python

本文链接：https://blog.csdn.net/qq_41564422/article/details/104212511

版权

最近在学爬虫时发现许多网站都有自己的反爬虫机制，这让我们没法直接对想要的数据进行爬取，于是了解这种反爬虫机制就会帮助我们找到解决方法。
常见的反爬虫机制有判别身份和IP限制两种，下面我们将一一来进行介绍。

(一) 判别身份

首先我们看一个例子，看看到底什么时反爬虫。
我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。`

import requests

# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url)
# 打印获取的文本
print(res.text)

这是段简单的请求与网站连接并打印获取数据的代码，我们来看看它的运行结果。
在这里插入图片描述
我们可以发现我们什么数据都没有获取到，这就是由于这个网站有它的身份识别功能，把我们识别为了爬虫，拒绝为我们提供数据。不管是浏览器还是爬虫访问网站时都会带上一些信息用于身份识别。而这些信息都被存储在一个叫请求头(request headers) 的地方。而这个请求头中我们只需要了解其中的一个叫user-agent(用户代理) 的就可以了。user-agent里包含了操作系统、浏览器类型、版本等信息，通过修改它我们就能成功地伪装成浏览器。
下面我们来看怎么找这个user-agent吧。