一个简单的Web客户端（网络爬虫）

本节演示网络爬虫。它是按照一定的规则，自动地抓取万维网信息的程序或者脚本。

        在本节的演示程序中，抓取Web的开始页面地址，下载与开始页面相同域名的后续链接页面。

实现代码：

[python]  view plain   copy

1. #-*-coding: utf-8-*-  
2.   
3. from sys import argv  
4. from os import makedirs, unlink, sep  
5. from os.path import dirname, exists, isdir, splitext  
6. from string import replace, find, lower  
7. from htmllib import HTMLParser # HTMLParser是用来解析html页面的，解析html页面中的链接？  
8. from urllib import urlretrieve  
9. from urlparse import urlparse, urljoin  
10. from formatter import DumbWriter, AbstractFormatter # DumbWriter将事件流转换为存文本文档？AbstractFormatter？  
11. from cStringIO import StringIO # StringIO是指在内存中读写字符串  
12.   
13. # 类Retrieve负责从web下载页面  
14. class Retrieve(object): # download Web pages  
15.       
16.     def __init__(self, url):  
17.         self.url = url  
18.         self.file = self.filename(url)  
19.   
20.     # filename()方法使用给定的url找出安全、有效的相关文件名并储存在本地  
21.     def filename(self, url, deffile='index.html'):  
22.         parsedurl = urlparse(url, 'http:', 0<