python:代理ip获取，验证，使用

很多网站服务器都有反爬机制，作为一个用python爬取数据的人，必须掌握怎么破解反爬机制。

我们在不断爬取大量数据的时候，ip很可能被网站封住，这样我们就无法继续爬取数据，怎么解决？：代理ip

代理ip怎么获取？：你可以百度自行搜索代理ip，然后可以手动粘贴保存，也可以直接对某网站的代理ip进行爬取。但是，我们获得的代理Ip并不是每一个都是有效的，我们德验证ip的有效性。

很简单：你可以在浏览器中打开internet选项，找到局域网设置中的代理服务器自己设置代理ip，设置好后如果可以继续打开网页那么就是有效的代理ip。  那么问题来了，这么多代理ip，我们总不可能一个个去输入验证吧，怎么办？你可以用下面的代码验证：

import urllib
import socket
socket.setdefaulttimeout(3)


proxys=[.....]

url = "http://ip.chinaz.com/getip.aspx"
for proxy in proxys:
    try:
        res = urllib.urlopen(url,proxies=proxy).read()
        print res
    except Exception,e:
        print proxy
        print e
        continue                                       #这个url是对ip进行验证的一个网站

还可以通过对其他网站的访问，看是否可以看到有效结果来进行验证：

import urllib2  
import random  
  
def getHtml(url,proxies):  
    random_proxy = random.choice(proxies)  
    proxy_support = urllib2.ProxyHandler({"http":random_proxy})  
    opener = urllib2.build_opener(proxy_support)  
    urllib2.install_opener(opener)  
    html=urllib2.urlopen(url)  
    return html  
  
url="https://www.1688.com/"  
proxies=["119.29.103.13:8888","117.57.242.217:8998"]  
for i in range(0,10000):  
    try:  
        html=getHtml(url,proxies)  
        print html.info()       
        print i  
    except:  
        print "error"                                          #当然这种方法无法看到具体哪个ip在 起作用，但是可以用于某网站在我们进行多少次搜索后会封锁我们的ip

找到有效的有用的ip，就是ip怎么使用了：

import urllib2  
import random  
  
def getHtml(url,proxies):  
    random_proxy = random.choice(proxies)
    
    proxy_support = urllib2.ProxyHandler({"http":random_proxy})  
    opener = urllib2.build_opener(proxy_support)  
    urllib2.install_opener(opener)  
    html=urllib2.urlopen(url)  
    return html  

url="http://www.1688.com" 
proxies=["218.205.114.218:8080"]


import re
from bs4 import BeautifulSoup
from distutils.filelist import findall


html=getHtml(url,proxies).read()
soup=BeautifulSoup(html,"html.parser")


for tag in soup.find_all('li',class_='fd-clr subnav_fzny'):
a_url=tag.find('a').get('href')
print (a_url)                                                                #这是我用某一个代理ip对阿里巴巴上进行爬取，

代理ip和selenium的使用代码：

from selenium import webdriver
chrome_options=webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://218.205.114.218:8080')
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('https://www.1688.com')
results = chrome.find_elements_by_xpath("//ul[@class='mod-spm active']//li/a")
for result in results:
print result.text
当然，也可以使用很多个有效ip进行信息爬取，这样就像前面提到的一样，服务器对你ip的封锁会更慢，我们爬取数据会更有效，不用担心需要验证，无法访问等问题