python ip代理池维护_python爬虫011-IP代理池的维护-（2）获取模块-代理66、快代理、旗云代理...

最近突然有所松懈，突然间变得好累。早上起不来，上午没精神，下午没体力，晚上没效率。学习的动力似乎突然消失。我怎么了？

似乎是休息方面除了问题，持续一个多月的学习，没有运动过，更别说出去走走，散散心。好不容易来的清明假期，也没有出去玩，我似乎失去了活力、激情。记得当年学习时除了精力不允许时，我总是很活跃，上了大学以后不知怎么了，失去了活力，失去了激情，失去了那种冲动。很怀念那个想什么做什么的我。

不说了，进入正题。接着昨天的文，今天写获取模块，从各大网站上获取代理。

我选了代理66、快代理、旗云代理这三个代理网站，作为代理的来源。

这次我跟着书上做的，遇到了点问题。由于我基础不太好，对与面对对象编程的掌握不到位，并不能理解抽象基类的使用。总之先给代码：

from pyquery import PyQuery as pq

import requests

class ProxyMetaclass(type):

"""定义一个抽象基类，来获取以crawler_开头的方法"""

def __new__(cls, name, bases, attrs):

count = 0

attrs['__CrawlFunc__'] = []

for k, v in attrs.items():

if 'crawl_' in k:

attrs['__CrawlFunc__'].append(k)

count +=1

attrs['__CrawlFuncCount__'] = count

return type.__new__(cls, name, bases, attrs)

class Crawler(object, metaclass=ProxyMetaclass):

"""从各大网站提取代理"""

def get_proxies(self, callback):

"""获取代理

:param callback: 调用的方法名称

:return: 返回得到的代理列表"""

proxies = []

for proxy in eval("self.{}()").format(callback):

print('成功获取到代理', proxy)

proxies.append(proxy)

return proxies

def crawl_daili66(self, page_count=4):

"""从代理66上获取代理

:param page_count:页码

:return: 代理"""

start_url = 'http://www.66ip.cn/{}.html'

urls = [start_url.format(page) for page in range(1, page_count + 1)]

for url in urls:

print('Crawling', url)

html = requests.get(url)

if html:

doc = pq(html.text)

trs = doc('.containerbox table tr:gt(0)').items()

for tr in trs:

ip = tr.find('td:nth-child(1)').text()

port = tr.find('td:nth-child(2)').text()

yield ':'.join([ip, port])

def crawl_kuaidaili(self,page_count=4):

"""从快代理上获取代理

:param page_count:页码

:return: 代理"""

start_url = 'https://www.kuaidaili.com/free/inha/{}/'

urls = [start_url.format(page) for page in range(1, page_count + 1)]

for url in urls:

print('Crawling', url)

html = requests.get(url)

if html.status_code == 200:

doc = pq(html.text)

trs = doc('tbody tr')

for tr in trs:

ip = tr.find('td:nth-child(1)').text()

port = tr.find('td:nth-child(2)').text()

yield ':'.join([ip, port])

def crawl_qiyundaili(self, page_count=4):

"""从旗云代理上获取代理

:param page_count:页码

:return: 代理"""

start_url = 'http://www.qydaili.com/free/?action=china&page={}'

urls = [start_url.format(page) for page in range(1, page_count + 1)]

for url in urls:

print('Crawling', url)

html = requests.get(url)

if html.status_code == 200:

doc = pq(html.text)

trs = doc('tbody tr').items()

for tr in trs:

ip = tr.find('td:nth-child(1)').text()

port = tr.find('td:nth-child(2)').text()

yield ':'.join([ip, port])

首先我定义了一个ProxyMetaclass的元类，也就是抽象基类。这是为了获取所有以‘crawl_’开头的方法定义的，虽然我现在看不懂，但是书上这么说的。

先过这里，下面的三个方法就是我们获取代理的函数。我就不讲了，太简单了。三个页面源码差不多。唯一注意的地方，就是你用的requests还是urllib，这两个源码的烈性不一样，一个要调用text属性，一个要调用read()方法。还有就是pyquery的使用，说实话很好用。我觉的比beautifulsoup好使。

现在不知道怎么了，写完了这个水之又水的文，我就不想学了，想睡了。不行啊!!!

昨天投了6份简历，只有一份被查看了。。。。然后就没然后了。。。。。还是学的不够好，简历也不够吸引人。

我发现所有的书，越写越烂，我看书也是越来越没动力。