Python网络爬虫入门笔记 八、提取信息

信息的提取有多种方法。

 

一、完整解析信息的标记形式，再提取关键信息

顾名思义，首先解析信息的标记形式，再提取需要的信息。

这种方法需要标记解析器，例如前面用到的BeautifulSoup库提供的标签树遍历。

优点：信息解析准确

缺点：提取信息繁琐，速度慢，也要求对信息的组织形式有一定的认识和了解。

 

二、无视标记形式，直接搜索关键信息

对信息的文本查找函数即可。

优点：提取过程简介，速度较快。

缺点：对提取结果缺乏准确性的定义，提取结果的准确性与讯息内容直接相关。

 

三、融合方法

1、概述

上述的方法各有优劣，一般情况下我们采用二者相融合的方法，即结合形式解析与搜索方法，提取关键信息。

既要用到标记解析器，也要用到文本查找函数。

 

2、引例

下面要实现这样一个功能，提取一个HTML文件中所有的URL链接。

思路：

• 搜索到所有的<a>标签（HTML中用于存储URL链接的标签）
• 解析<a>标签格式，提取href后的链接内容

实现代码如下：