网页净化技术综述

网页净化技术综述

网页分块方法

       网页中的信息并不都是具有相同的重要度的，比如大字标题就要比导航条更加引人注目。网页中的不同信息由于所处的位置、占据的空间大小或者内容不同而具有不同的重要度。所以，我们可以将网页按照内容分块，利用分块的一些特征来进行网页净化，从而提高网页正文提取的质量。

基于位置关系的分块法

       利用网页页面的布局进行分块，将一个网页分成上、下、左、右和中间5个部分,再根据这5个部分的特征进行分类；实际的网页结构要复杂得多，这种基于网页布局的方法并不能适用于所有的网页；这种方法切分的网页粒度比较粗，有可能破坏网页本身的内在特征，难以充分包括整个网页的语义特征。

基于文档对象模型（DOM）的分块法

       找出网页HTML文档里的特定标签，利用标签项将HTML文档表