python 爬虫-2：添加用户代理和延时下载

对于同一个域名的网站，要求两次链接下载之间应该存在一定的延时，为此写了一个延时类，保证每次下载都存在延时，不会对服务器造成负担：

class Throttle():

    def __init__(self, delay):
        self.delay = delay
        self.domains = {}

    def wait(self,url):
        domian = urlparse.urlparse(url).netloc
        last_accessed = self.domains.get(domain)

        if self.delay > 0 and last_accessed is