python虚拟机分布式爬虫_Python简单分布式爬虫

分布式爬虫采用主从模式。主从模式是指由一台主机作为控制节点，负责管理所有运行网络爬虫的主机(url管理器,数据存储器,控制调度器)，爬虫只需要从控制节点哪里接收任务，并把新生成任务提交给控制节点。此次使用三台主机进行分布式爬取,一台主机作为控制节点，另外两台主机作为爬虫节点。

控制节点主要分为url管理器、数据存储器和控制调度器。控制调度器通过三个进程来协调URL管理器和数据存储器的工作：一个是URL管理进程，负责URL的管理和将URL传递给爬虫节点,一个是数据提取进程,负责读取爬虫节点返回的数据,将返回数据中的URL交给URL管理进程，数据存储进程，负责将数据提取进程中提交的数据进行本地存储。

url管理器

# coding:utf-8

try :

import cPickle as pickle

except ImportError:

import pickle

#cPickle引用序列化包

import hashlib

class UrlManager(object):

def __init__(self):

self.new_urls = self.load_progress('new_urls.txt') # 未爬取URL集合

self.old_urls = self.load_progress('old_urls.txt') # 已爬取URL集合

def has_new_url(self):

# 判断是否有未爬取的URL

return self.new_url_size() != 0

def get_new_url(self):

# 获取一个未爬取的URL

new_url = self.new_urls.pop()

m = hashlib.md5()#对url进行MD5加密

m.update(new_url)

self.old_urls.add(m.hexdigest()[8:-8])#

return new_url

def add_new_url(self, url):

# 将新的URL添加到未爬取的URL结合中

if url is None:

return

m = hashlib.md5()

m.update(url)

url_md5 = m.hexdigest()[8:-8]

if url not in self.new_urls and url_md5 not in self.old_urls:

self.new_urls.add(url) # 将新的url添加到列表中

# 批量添加url

def add_new_urls(self, urls):

# 将新的URL添加到未爬取的URL集合中

if urls is None or len(urls) == 0:

return

for url in urls:

self.add_new_url(url)

# 获取未爬取url集合的大小

def new_url_size(self):

return len(self.new_urls)

# 获取已经爬取URL集合的大小

def old_url_size(self):

return len(self.old_urls)

#保存进度

#param path:文件路径

#param data:数据

# return:

def save_progress(self, path, data):

with open(path, 'wb') as f:

pickle.dump(data, f)

#从本地文件加载进度

#param path 文件路径

#return set集合

def load_progress(self, path):

print '[+]从文件加载进度:%s' %path

try:

with open(path,'rb') as f:

tmp = pickle.load(f)

return tmp

except:

print '[!]无进度文件,创建:%s' % path