老鱼Python数据分析——篇二：系统设计(找代理IP)

开发环境：win7 x64版本，python 3.6，Anaconda3 (64-bit)

因为频繁访问容易被封IP，所以我们需要使用代理来进行数据的爬取（当然你也可以放慢节奏，比如每5秒爬一条记录）。

经过测试，发现http://www.66ip.cn/比较好用，接下来，先把到66ip上把所有能用的代理IP都保存下来。

66ip网站代理IP的HTML源码如上图所示，所以，首先要找到该table，再遍历table中的所有tr即可。

实现步骤如下：

1. 导入相关模块
2. 爬取66ip网页指定table的tr
3. 读取tr中td的内容，拼接成代理IP地址
4. 测试该IP地址是否可用，将可用IP保存到本地TXT文件
5. 循环读取每个页面的代理IP

一、导入相关模块

import urllib
import requests
from bs4 import BeautifulSoup
import time
import random

二、爬取66ip首页指定table的tr

# 模拟浏览器
heads = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}

url = "http://www.66ip.cn/1.html"
    response = requests.get(url,headers=heads)
    soup = BeautifulSoup(response.content.decode("gbk"),"lxml")
    # 找到属性"bordercolor"为"#6699ff"的table中的所有tr
    trs = soup.find("table", attrs={"bordercolor":"#6699ff"}).find_all("tr")

三、读取tr中td的内容，拼接成代理IP地址

 for tr in trs[1:]:
        ip = tr.find_all("td")[0].get_text()
        port = tr.find_all("td")[1].get_text()
        proxy = "http://"+ip+":"+port
        print(proxy)

显示结果如下：

四、测试该IP地址是否可用，将可用IP保存到本地TXT文件

        # 验证代理IP是否可用，如果IP不可用会抛异常
        try:
            proxies = {"http":proxy}
            test_url = "http://blog.csdn.net"
            rsp = requests.get(test_url, headers=heads, proxies=proxies,timeout=3)
            if(response.status_code==200):
                # 如果可用则保存地址
                with open("ipList.txt", "a", encoding="utf-8") as f:
                    f.write(proxy+"\n")
                    f.close()
        except:
            pass

五、循环读取每个页面的代理IP(加间隔时间)

import urllib
import requests
from bs4 import BeautifulSoup
import time
import random

heads = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}

for i in range(1,1000):
    url = "http://www.66ip.cn/"+str(i)+".html"
    response = requests.get(url,headers=heads)
    soup = BeautifulSoup(response.content.decode("gbk"),"lxml")
    # 找到属性"bordercolor"为"#6699ff"的table中的所有tr
    trs = soup.find("table", attrs={"bordercolor":"#6699ff"}).find_all("tr")
    for tr in trs[1:]:
        ip = tr.find_all("td")[0].get_text()
        port = tr.find_all("td")[1].get_text()
        proxy = "http://"+ip+":"+port
        print(proxy)
        # 验证代理IP是否可用，如果IP不可用会抛异常
        try:
            proxies = {"http":proxy}
            test_url = "http://blog.csdn.net"
            rsp = requests.get(test_url, headers=heads, proxies=proxies,timeout=3)
            if(response.status_code==200):
                # 如果可用则保存地址
                with open("ipList.txt", "a", encoding="utf-8") as f:
                    f.write(proxy+"\n")
                    f.close()
        except:
            pass
        # 验证结束
    # 间隔时间为3~5秒
    time.sleep(random.randint(3,5))

通过以上步骤，把66ip网前1000页能用的代理IP下载到本地，为后期爬取指定页面做准备。