包装器简介

包装器定义:包装器是一个能够将数据从HTML网页中抽取出来,并且将他们还原为结构化的数据的软件程序。
在这里插入图片描述

包装器归纳是基于有监督学习的,他从标注好的训练样例集合中学习数据抽取规则,用于从其他相同标记或相同网页模板抽取目标数据。
在这里插入图片描述
1、网页清洗:有些网页结构不规范,例如前后标签不对称,没有结束标签符。不规范的网页结构容易在抽取的过程中抽取的过程中产生噪声。清洗可以用tidy来完成。
2、网页标注:网页标注是在网页上标注你需要抽取数据的过程。标注的过程可以是给网页中的某个位置打上特殊的标签表明这是要抽取的数据。
3、包装器空间的生成:对标注的数据生成XPath集合空间,对生成的集合进行归纳,形成若干子集。归纳的规则是在子集中的XPath能够覆盖多个标注的数据项,具有一定的泛化能力。
4、包装器评估:准确率和召回率。

因为有监督学习包装器有缺陷(1.手工标注不适合对大量站点的抽取;2.包装器维护成本大),而自动抽取是可行的(网站中的数据通常是用很少一些模板来编码的,通过挖掘多个数据记录中的重复模式来寻找这些模板是可能的)。
1.包装器训练:自动抽取网页中的信息不需要任何的先验知识和人工数据的标注,将一组网页通过聚类将相思的网页分成若干个组,每组相似的网页将获得不同的包装器。
2.包装器应用:将需要抽取的网页与之前生成包装器的网页进行比较,在某个分类下则使用该分类下的包装器来获取网页中的信息。
在这里插入图片描述

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值