1 当然是选择一个可以解析html的包了
这个包,首先推荐的就是lxml, 用xpath的方式来解析html
2. 什么HTMLParser, SGMLParser,
就算了吧,很难学,也很难用
3. Beautiful Soup?
这个可以作为一个候选,毕竟beautiful Soup基于lxml开发的
4. PyQuery
这个也很好,类似与jQuery的工具,也是基于lxml的
5. Scrapy
这个也是基于lxml的,使用xpath提取html dom的信息。
综上所述, 建议使用lxml和pyquery或者scrapy(毕竟scrapy提供了一揽子爬虫解决方案)