使用代理进行爬虫

爬网页的时候，尤其是一些商用网站，如果使用本地IP很容易就会被封掉，因此我们需要在代理网站上购买代理，我使用的是代理精灵网站：http://http.zhiliandaili.com/Users-login.html

首先要在IP白名单中加入自己的IP地址

然后点击API提取，稳定使用时长设置为稳定一分钟就好，然后点击下方的生成API链接就可以提取到一个API 

 

 

下面我们来看一下如何使用

1.首先创建一个getip.py的文件

# 同时使用用户代理池和IP代理池
import time
import urllib.request
import random
# 从用户代理池中随机获取一个用户代理
def getheaders():
        # 浏览器之类的信息
        UserAgents = [
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",
            "