Getting Started Spidering a Site使用Chilkat（python）练习的一个爬虫（from :http://www.example-code.com）

英文原文地址：
http://www.example-code.com/python/spider_begin.asp

一、下载：上面页面中的 Download Chilkat Python Library（Chilkat ：翻译出来的意思是奇尔卡特人(北美阿拉斯加印第安部落特林基特人的分支)，老美还是蛮有意思的，啥时候咱们中国人做的软件也起一个叫啥“纳西”或是“蒙古”库的软件；那样是不是感觉很cool?，好了，不多说着了，有点跑题了。）
二、安装
解压之后有一个QuickStart的页面；里面说要安装 Python 2.5，你要确认一下你的python，必须是2.5;
而且还有一点提醒一下（因为我是python菜鸟，本人对同样是菜鸟的得有必要提醒一下）就是：在QuickStart的页面的页面里说
you only need to add a __path__ = ["dir_with_chilkat_pyd"]，这个 "dir_with_chilkat_pyd"和java中是一样的处理方式，不是“/”而是“/”(目录间隔符号)；然后你可以在__init__.py中加上“__path__”；这样你就可以使用Chilkat 了；
三、使用
源码：

1. from extra import  chilkat
6. #  The Chilkat Spider component/library is free.
7. spider = chilkat.CkSpider()
9. #  The spider object crawls a single web site at a time.  As you'll see
10. #  in later examples, you can collect outbound links and use them to
11. #  crawl the web.  For now, we'll simply spider 10 pages of chilkatsoft.com
12. spider.Initialize("www.chilkatsoft.com")
14. #  Add the 1st URL:
15. spider.AddUnspidered("http://www.chilkatsoft.com/")
17. #  Begin crawling the site by calling CrawlNext repeatedly.
19. for i in range(0,10):
21.     success = spider.CrawlNext()
22.     if (success == True):
23.         #  Show the URL of the page just spidered.
24.         print spider.lastUrl()
25.         #  The HTML is available in the LastHtml property
26.     else:
27.         #  Did we get an error or are there no more URLs to crawl?
28.         if (spider.get_NumUnspidered() == 0):
29.             print "No more URLs to spider"
30.         else:
31.             print spider.lastErrorText()
33.     #  Sleep 1 second before spidering the next URL.
34.     spider.SleepMs(1000)

注：我在这里把Chilkat放在了包 extra中调用；

四、代码说明

1. spider.AddUnspidered("http://www.chilkatsoft.com/") 可以说是一种定义种子url
2. 代码很简单就是两个if else,就是判断是否爬到页面和输出出错信息，最后定义spider休息时间，我还没看源代码，应该是多线程的了。

总结说明：这是一个很简单的爬虫使用，当然一个有用的爬虫肯定是不止这些的，但是 chilkat也提供了一些基本概念的实现，如下所示，

• Getting Started Spidering a Site
• Extract HTML Title, Description, Keywords
• Fetch robots.txt for a Site
• Avoid URLs Matching Any of a Set of Patterns
• Setting a Maximum Response Size
• Setting a Maximum URL Length
• Using the Disk Cache
• Crawling the Web
• Get Referenced Domains
• Get Base Domains
• GetBaseDomain
• CanonicalizeUrl
• Avoiding Outbound Links Matching Patterns
• Must-Match Patterns
• A Simple Web Crawler

当然 chilkat还有很多其他有用的功能，

The full suite of Chilkat components are now available for the Python scripting language. Commercially licensed components include:

1. Email (POP3 / SMTP)
2. IMAP
3. Zip, GZip, and Unix Compress
4. Encryption
5. RSA
6. MIME and S/MIME
7. FTP
8. HTTP
9. HTML-to-XML
10. Charset
11. Bounce

上面的11个是要收费的产品

下面的4个免费

Freeware components include:

1. XML
2. Digital Certificates
3. Spider
4. Upload