对于大多数朋友而言,爬虫绝对是学习python
的最好的起手和入门方式。因为爬虫思维模式固定,编程模式也相对简单,一般在细节处理上积累一些经验都可以成功入门。本文想针对某一网页对python
基础爬虫的两大解析库(BeautifulSoup
和lxml
)和几种信息提取实现方法进行分析,以开python
爬虫之初见。
基础爬虫的固定模式
笔者这里所谈的基础爬虫,指的是不需要处理像异步加载、验证码、代理等高阶爬虫技术的爬虫方法。一般而言,基础爬虫的两大请求库urllib
和requests
中requests
通常为大多数人所钟爱,当然urllib
也功能齐全。两大解析库BeautifulSoup
因其强大的HTML
文档解析功能而备受青睐,另一款解析库lxml
在搭配xpath
表达式的基础上也效率提高。就基础爬虫来说,两大请求库和两大解析库的组合方式可以依个人偏好来选择。
笔者喜欢用的爬虫组合工具是:
● requests
+BeautifulSoup
● requests
+lxml
同一网页爬虫的四种实现方式
笔者以腾讯新闻首页的新闻信息抓取为例。
首页外观如下: