本节书摘来自异步社区《用Python写网络爬虫》一书中的第2章,第2.3节,作者 [澳]Richard Lawson(理查德 劳森),李斌 译,更多章节内容可以访问云栖社区“异步社区”公众号查看。
2.3 本章小结
在本章中,我们介绍了几种抓取网页数据的方法。正则表达式在一次性数据抓取中非常有用,此外还可以避免解析整个网页带来的开销;BeautifulSoup提供了更高层次的接口,同时还能避免过多麻烦的依赖。不过,通常情况下,lxml是我们的最佳选择,因为它速度更快,功能更加丰富,因此在接下来的例子中我们将会使用lxml模块进行数据抓取。
下一章,我们会介绍缓存技术,这样就能把网页保存下来,只在爬虫第一次运行时才会下载网页。