python 爬虫之requests模块设置代理

最新推荐文章于 2024-07-17 15:17:23 发布

码农一号已就位

最新推荐文章于 2024-07-17 15:17:23 发布

阅读量7.1k

点赞数 3

分类专栏： python 爬虫 IP代理文章标签： python 爬虫 http 数据挖掘 IP地址代理

本文链接：https://blog.csdn.net/xdc1812547560/article/details/108112913

版权

本文介绍了在Python爬虫中遇到网站反爬限制时，如何使用requests模块设置代理IP来避免被屏蔽。讲解了代理IP的必要性、设置方法，以及如何测试代理IP的可用性，并提供了几个免费代理IP资源的网站。

摘要由CSDN通过智能技术生成

我们都知道上网连接到互联网时会有一个【ip】地址。

而网站都有请求的临界点，当我们对一个网站发起多次请求时，网站发现请求次数超过了临界点，就会自动屏蔽掉我们的【ip】，这时就再也无法访问此网站了。

这就是基础的一种反爬技术

对于这种情况，解决方案也其实很简单：只需在请求时通过设置代理【ip】的方式，就可以解决啦。

在【requests】请求时，可以非常便捷的替换发给服务端的【ip】地址，这样网站面对多个不同的【ip】地址，就没有办法屏蔽。

使用proxies方法传入字典格式的IP地址即可初步设置代理

import requests
url = 'https://www.shiguangkey.com'
proxies = {
   'http':'http://192.186.72.6:8000'}# ip地

关注

专栏目录