利用视觉模型对网页有效信息的抽取

  

所谓网页有效信息,可以概括为:

 用于体现网页价值所在或者描述网页制作的目标所在的一系列信息.

 

 举例:

 1)对于一个新闻网页来说:

    该网页的制作目标是展现一条新闻,那么新闻的标题,内容,

该新闻的主题媒体(可能是图片或视频或FLASH),作者,发布的时间,来源,编辑等

与该新闻直接相关的一系列信息,我们称之为有效信息.

 2)对于一个BBS页面来说:

    该网页的制作目标是展现一个或多个人讨论,发布的信息,那么对于这个网页

来说,所有参与人直接触发和发布的信息都为有效信息.例如所有的发贴人的名字,

发贴的时间,发贴的内容,发贴的主题媒体等,我们都认为是有效信息.

 

什么是视觉模型

 

视觉上特征,视觉关系最靠近的视觉区域为一个视觉模型。

 

什么是视觉模型链

 

按照前后位置关系排列输出的，由多个视觉模型组合成的视图内的所有视觉模型的关系列表，我们称之为视觉模型链。一条视觉模型链构成一个视图。

 

算法基础：解析单一web源代码,对单一web建立视觉模型链。

 

算法一：视觉模型聚类法 ( 暂命名 )

 

对每个web site的所有web的视觉模型链进行聚类，把相同的模型的部分合并，反推出该网站的web分类，得出无法重合的模型，这些模型就是有效信息

 

算法二：视觉模型的经验分析法 ( 暂命名 )

 

对单个web的视觉模型进行经验分析，不依赖同类网页的帮助，把人的经验用程序表达出来，通过对模型集合的经验分析，得出该网页的有效信息。如那个部是主题，那个部分是内容等信息。

 

算法三：分析结果反推网站模板 ( 暂命名 )

 

根据算法一、二分析的结果，进行统计训练和维护，反推出单个网站的URL规律、结构规律和对应模板，最终整理成一个大模板索引库，用于提高分析网页的效率和质量结果以及提供可添加人工干预的接口。反推出正确的模板后，理想的状态下时间复杂程度等于一，比普通的html转换text(把html代码全部去掉）更快，系统性能要求更低。

 

 

l 难点一：如何建立 web 的视觉模型及模型链

 

l 难点二：如何快速对整站的模型进行统计和聚类。得到一个新网页后如何快速进行聚类得出结果？

 

l 难点三：如何根据模型统计和聚类的结果整理出模板？得到一个新的网页后，如何在最快的时间里面得到该网页对应的模板？

 

不确定的

 

l 我们该聚类一个网站全部的模型，还是先对该网站进行分类，然后再聚合每一个类里面的模型？

算法难点