python爬虫——构建代理ip池

今年6月份开始的自己的数据分析项目，到现在已经快3个月的时间了。因为中间停歇了两个月的时间，导致现在依然滞留在数据采集那一部分，还好这两天又有了时间来折腾折腾。
我看到有网友说利用python Scrapy框架可以很方便，并且可以伪造ip，以来防止网站的反爬虫，但是我想把python的爬虫工具都过一遍，所以在开始阶段代码有些冗余、粗糙。
还需不断的改进，嗯，github是个很好的工具。

数据采集这一块我暂时瞄准了VOA网站的数据，想利用自然语言分析来看看当下人们关注的趋势、热点，主要的是学习算法、数据挖掘，这是挚爱啊！但是整个流程挺复杂，从制定需求，到Web scraping、Data processing、SQL OR data Analysis、visualization等等这些功能都需要自己一个人来完成。
最难的是算法（机器学习）那一块，还准备剃个光头去学习数学（以防谢顶让自己难过…）

好了，废话说的挺到位，下面开始进入这篇博客的正题：构建自己的代理ip池

先来描述一下思路：
我在网上看过别人构建ip池，说实话，一点也没看懂，他们说话拐弯抹角的，让人找不到直接的答案。索性就再也没有研究过别人的ip池是怎么构建的。
以我自己的理解，就是构建一个存放ip的库，在爬取web内容的时候，用的代理ip是从自己的库里面取的。（希望看到这篇博客的朋友，如果有好的建议，欢迎直接地提出来，期待与您一起讨论。）

首先有个问题：库的ip从哪里来？
http://www.mimiip.com/gngao/
上面的内容可以爬去下来，不用复杂，爬一页就行。页面更新较频繁，可以用shell做定时任务。
代码：

#-*-coding=utf-8-*-

"""
构建代理IP池，存放在mysql中。
"""
from urlparse import urlparse
from bs4 import BeautifulSoup
from requests.exceptions import ProxyError,ConnectionError
import chardet
import requests
import os
import re
import sys
im