【网页正文识别及提取算法】什么是网络正文？

最新推荐文章于 2022-11-21 10:46:36 发布

「已注销」

最新推荐文章于 2022-11-21 10:46:36 发布

阅读量2.1k

点赞数

分类专栏： Algorithm 文章标签：自然语言处理

本文链接：https://blog.csdn.net/LU_ZHAO/article/details/104869380

版权

网页正文识别是从HTML文档中提取用户关心的内容，通常不包括广告、导航和链接。网络源码包含大量链接、样式等信息，正文识别旨在过滤这些干扰元素，聚焦于实际文本信息。

摘要由CSDN通过智能技术生成

考虑一张网页：
在这里插入图片描述
上图的正文部分在哪里呢？

大概是在这一块，正文就是用户关心的部分。一般来说，用户并不怎么关注广告，也不关注导航和链接。因为这并不是我们进入这个网页的主要目的。当然上图只显示了内容的一部分。

那么它的原文呢？

请求：

:curl -o baidu https://baike.baidu.com/item/%E7%99%BE%E5%BA%A6/6699
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  243k    0  243k    0     0   119k      0 --:--:--  0:00:02 --:--:--  119k

打开会是一大堆的网络源码，下面只显示部分：

</div><div class="para-title level-2" label-module="para-title">
<h2 class="title-text"><span class="title-prefix">百度</span>公司简介</h2>
</div>
<div class="para" label-module="para"><div class="lemma-picture text-pic layout-right" style="width:220px; float: right;">
<a class="image-link" nslog-type="9317" 
			href="/pic/%E7%99%BE%E5%BA%A6/6699/0/2cf5e0fe9925bc31b88d80d45cdf8db1ca1370ae?fr=lemma&ct=single" target="_blank"
		title="" style="width:220px;height:141px;">
<img  class="lazy-img" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAAB