爬取快代理免费ip，构建自己的代理ip池，不再怕反爬（附代码） 松鼠爱吃饼干

我们在做爬虫的过程中经常会遇到这样的情况：最初爬虫正常运行，正常抓取数据，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden；这时候网页上可能会出现“您的IP访问频率太高”这样的提示，过很久之后才可能解封，但是一会后又出现这种情况。

因此我们使用某种方式来伪装本机IP，以使服务器无法识别由本地计算机发起的请求，这样我们可以成功地阻止IP被封。所以这时候代理ip就派上用场了。

爬虫的一般思路

1、确定爬取的url路径，headers参数

2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

3、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理

4、保存数据

[环境介绍]：

python 3.6

pycharm

requests

parsel(xpath)

代码如下：

i