【网页正文识别及提取算法】基于正文特征分块

什么是正文特征

网页主要由以下三部分组成：

• 正文文本
• 锚点文本（链接）
• 标签文本

网络正文通常在网页中占了大量的篇幅，大量的语句，且包含了标点符号。我们可以利用这些特征将正文快速的分块出来。

网页分块

浏览器呈现网页的时候，会把内容相似的网页放在一块。

我们可以关注描述布局结构的标签，比如table，tr，td，div等等。另外还可以关注b，title，hn这种说明主题信息的标签。

步骤大致如下：

• 对网页进行块识别
• 获取块开始和块结束的位置，获取块标签
• 然后划分子块，开始深度搜索依次标记
• 直到结束的位置

分块算法利用了HTML标签结构的特点。

预处理

计算前先去除不必要的标签，比如样式，脚本等，可以利用工具。

计算

field text_length;