python使用代理爬虫_python爬虫代理

一 爬虫为什么要设置代理？

写爬虫，大家都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个：

1 同一IP，放慢速度(爬取速度慢)

2 使用代理IP访问(推荐)

第一种方案牺牲的就是时间和速度，那肯定是我们所不能忍受的。所以第二种方案是推荐的，那么从哪里能找到这么多代理IP呢？今天无意中发现了一个网站国内高匿代理IP，经测试，发现可用性蛮高的。

二 爬取代码

我用的requests和Beautifulsoup爬的，最后写入文本文件。代码如下：

import requests

import os

from bs4 import BeautifulSoup

os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')

headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}

url = 'http://www.xicidaili.com/nn/1'

s = requests.get(url,headers = headers)

soup = BeautifulSoup(s.text,'lxml')

ips = soup.select('#ip_list tr')

fp = open('host.txt','w')

for i in ips:

try:

ipp = i.select('td')

ip = ipp[1].text

host = ipp[2].text

fp.write(ip)

fp.write('\t')

fp.write(host)

fp.write('\n')

except Exception as e :

print ('no ip !')

fp.close()

最后类似这种

QQ截图20170228180121.png

三 代理检验

有很多ip是不可用的，我们可以检验下，代码如下：

import requests

import os

from bs4 import BeautifulSoup

os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')

# headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}

url = 'https://www.baidu.com'

fp = open('host.txt','r')

ips = fp.readlines()

proxys = list()

for p in ips:

ip =p.strip('\n').split('\t')

proxy = 'http:\\' + ip[0] + ':' + ip[1]

proxies = {'proxy':proxy}

proxys.append(proxies)

for pro in proxys:

try :

s = requests.get(url,proxies = pro)

print (s)

except Exception as e:

print (e)

结果如下：

QQ截图20170228180922.png

从结果看，可用的还是蛮多的。

爬虫代理上手

养兵千日用兵一时，有了代理以后，终于可以派上用场了，我把代理加到了我的爬虫中，代码如下：

def get_detail(cols,book,sheet,proxys):

index = 1

headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}

for url in cols:

print (url)

print (random.choice(proxys))

try:

s = requests.get(url,headers = headers,proxies=random.choice(proxys))

soup = BeautifulSoup(s.text,'lxml')

details = soup.select('.con-txt > li')

person = details[0].text.split('：')[1]

phone = details[1].text.split('：')[1]

name = details[2].text.split('：')[1]

address = details[5].text.split('：')[1]

write_excel(book,sheet,index,name,address,person,phone)

index = index + 1

print ('查询成功！')

except Exception as e:

print ('爬取网页失败！')

book.save('./2.xls')

之前爬取时因爬取速度过快被拒的情况，现在不会发生了

QQ截图20170301094452.png

五 总结

以后爬虫的时候，遇到服务器限制访问次数的时候，就可以使用代理了，先从类似国内高匿代理IP等网站爬取最新的代理ip，保存到本地，当然要进行检验，把无效的ip删掉，我们就可以在我们的代码中使用代理了。