爬虫下载器
此下载器主要作用是从url管理器中获取新的url并将其从对应服务器中下载下来。
实现代码
这里的代码与爬虫学习(一)中的互通。
可使用urllib库,或者request库。
#!/usr/bin/env python3
# -*- coding: UTF-8 -*-
__author__ = 'Gary'
# 爬虫下载器
import urllib.request
class HtmlDownloader(object):
def download(self, url):
if url is None: