Python 爬虫之使用代理ip

我们在爬取数据的时候有可能会出现爬到一半就不动了，有可能是因为目标网站封了你的ip，因为程序的运行是非常快的，人为的访问速度没有那么快，所以会被封，所谓道高一尺魔高一丈，我们可以有多种方法可以避免这种问题

第一种：

降低访问速度，我们可以使用time模块中的sleep，使程序每运行一次后就睡眠1s，这样的话就可以大大的减少ip被封的几率

第二种：

为了提高效率，我们可以使用代理ip来解决，ip是西刺代理的ip，代码我贴出来

# encoding: utf-8
import requests
import json

from lxml import etree

def get_page(url):
    head ={
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0"
    }