Python使用HTMLParser抓取网页内容

  昨天使用webdriver爬取了某电商网站的商品数据信息，webdriver其实是使用DOM格式来抓取网页数据的。但是使用DOM格式有一个问题，学过前端的同学都知道，如果使用DOM格式抓取数据，必须要等到DOM树形成之后才可以，也就是说DOM格式要完全完成之后才可以使用。但是对于某些特殊的情况，并不需要全部的DOM，可能只需要DOM中的一部分就可以了。在这种情况下webdriver就会显得效率有点低了。

今天使用另一种方式来抓取网页中的内容，HTMLParser。HTMLParser使用了SAX这种数据流的方式来抓取网页中的内容，解析一句，处理一句，不再是等DOM树结构形成之后才处理。SAX的全称是“Simple API for XML”，其实它是用来处理XML格式的数据的。但是HTML与XML在格式上有很多相似的地方，因此也可以用它来处理HTML语言。当然HTML与XML还是有很多不一样的地方，例如XML要求每个标签必须严格闭合，但是HTML就没有这样的要求，HTML还是比较随意的，它经常会出现类似于<br />这样的标签，对于这样的标签，我们可以另行处理。

首先还是准备工作

• 安装HTMLParser