python 爬虫之requests模块设置代理

为什么设置代理？

我们都知道上网连接到互联网时会有一个【ip】地址。

而网站都有请求的临界点，当我们对一个网站发起多次请求时，网站发现请求次数超过了临界点，就会自动屏蔽掉我们的【ip】，这时就再也无法访问此网站了。

这就是基础的一种反爬技术

对于这种情况，解决方案也其实很简单：只需在请求时通过设置代理【ip】的方式，就可以解决啦。

在【requests】请求时，可以非常便捷的替换发给服务端的【ip】地址，这样网站面对多个不同的【ip】地址，就没有办法屏蔽。

设置代理

使用proxies方法传入字典格式的IP地址即可初步设置代理

import requests
url = 'https://www.shiguangkey.com'
proxies = {
   'http':'http://192.186.72.6:8000'}# ip地