python版爬虫

python爬虫的三个版本：

1. 基于urllib, urllib2

基于http请求响应的封装。有局限性，因为不能处理动态的脚本如js，一些操作无法实现。

2. 内嵌webbrowser

如pyqt的webkit,pamie, spynner(基于webkit)

这种内嵌的方式类似于com调用，支持所有浏览器的操作，兼容性好，但不如urllib快捷。

3. web test framwork

如selenium。 综合了1,2两种方式，selenium IDE还可以生成代码，是一个强大的web测试工具。

http://selenium.seleniumhq.org/  selenium学习网站