Python写爬虫——抓取网页并解析HTML

CUHK上学期有门课叫做Semantic Web，课程project是要搜集整个系里面的教授信息，输入到一个系统里，能够完成诸如“如果选了A教授的课，因时间冲突，B教授的哪些课不能选”、“和A教授实验室相邻的实验室都是哪些教授的”这一类的查询。这就是所谓的“语义网”了啊。。。然而最坑爹的是，所有这些信息，老师并没有给一个文档或者数据库，全要靠自己去系主页上搜集。唯一的想法是写个爬虫，令人悲哀的是，所有做这个project的同学，都是纯人肉手工完成，看得我只想扶墙。。。

从网页中抓取特定信息，我觉得这是一个普遍性的问题，以后经常会遇到。幸亏那个project只是需要我们系的所有教授的信息，大家人工也就算了。如果需要抓取的信息是海量的，举个栗子，把淘宝上所有的商品目录抓下来，那岂不是要吐血而亡？我决定好好把爬虫研究一下。

之前波波写过一个java程序，利用HTML Parser去解析团购网站meituan.com然后把每天的团购信息存到数据库里。稍微改改再爬爬拉手糯米，做个前端，一个团购导航站就问世了。我把程序跑了一下，全自动搜集，不算太复杂。

但是，我觉得java太啰嗦，不够简洁。Python这个脚本语言开发起来速度很快，一个活生生的例子是因有关政策verycd开始自我阉割，有网友为了抢救资源，把整个verycd站爬了下来，镜像为