【网页正文识别及提取算法】基于正文特征分块

最新推荐文章于 2022-03-16 20:06:17 发布

「已注销」

最新推荐文章于 2022-03-16 20:06:17 发布

阅读量886

点赞数

分类专栏： Algorithm 文章标签：算法 html

本文链接：https://blog.csdn.net/LU_ZHAO/article/details/104880338

版权

本文介绍了网页正文识别的原理，通过分析正文、锚点和标签文本的特征，结合HTML标签结构进行分块。预处理阶段去除无关标签，然后计算文本支持度和标点支持度来判断块是否为正文。最终，依据计算结果保留信息块并进行噪音修剪。

摘要由CSDN通过智能技术生成

网页主要由以下三部分组成：

网络正文通常在网页中占了大量的篇幅，大量的语句，且包含了标点符号。我们可以利用这些特征将正文快速的分块出来。

浏览器呈现网页的时候，会把内容相似的网页放在一块。
在这里插入图片描述

我们可以关注描述布局结构的标签，比如table，tr，td，div等等。另外还可以关注b，title，hn这种说明主题信息的标签。

步骤大致如下：

分块算法利用了HTML标签结构的特点。

计算前先去除不必要的标签，比如样式，脚本等，可以利用工具。

field text_length; //非锚点文本字数
field linktext_length; //锚点文本字数
field punctuation_count

关注

专栏目录