html研究的内容,基于HTML的信息抽取技术研究

摘要：

随着信息技术的飞速发展,浏览器技术得到了不断创新.但是不同浏览器之间所带来的网页兼容性问题也变得愈发突出,网页兼容性问题已经成为制约开源软件发展的瓶颈.目前几乎所有的网站都包含大量非兼容性网页元素,当用户通过不同浏览器访问这些网站时,将会得到不同的显示效果.这种非正常显示严重打击了用户的使用信心,甚至使部分用户不再使用开源软件.本文针对上述问题进行研究,研究的主要内容有: (1)在探讨Web信息抽取技术的基础上,根据Web页面的特征,分析其结构,提出一种网页信息抽取的可行性方法——基于HTML树编辑距离的信息抽取方法.该方法通过考虑HTML标签表现特性进而改进树编辑距离.根据HTML标签在浏览器中所显示的数据对象的权赋予它们相应的不同节点值;通过两棵由HTML标签组成的,对应页面中数据对象构成的带权节点树之间的比较,求得最大映射值来获得其样式匹配.实验表明,该方法比简单树匹配方法更高效,更稳定. (2)从HTML解析技术入手,结合Web信息抽取技术,设计了一个自主开发的HTML Wrapper解析器方案,并对它的组成部分词典,词法分析器以及语法分析器的设计做了详细研究.信息抽取详细方案的设计是本文的核心,其最大特色是抽取规则的语料库设计和不同浏览器对HTML标签和属性支持差异解决方案的设计.该方案的设计和应用可以更好地提取出那些产生兼容性问题的标签和属性,并将这些标签和属性加以改正. (3)在上述工作的基础上,本文开发了相应的原型系统.该系统能够更好地完成对网页不兼容信息的抽取和改正,是一款符合HTML4.01规范的网页信息抽取和测试系统.

展开