包装器定义:包装器是一个能够将数据从HTML网页中抽取出来,并且将他们还原为结构化的数据的软件程序。
包装器归纳是基于有监督学习的,他从标注好的训练样例集合中学习数据抽取规则,用于从其他相同标记或相同网页模板抽取目标数据。
1、网页清洗:有些网页结构不规范,例如前后标签不对称,没有结束标签符。不规范的网页结构容易在抽取的过程中抽取的过程中产生噪声。清洗可以用tidy来完成。
2、网页标注:网页标注是在网页上标注你需要抽取数据的过程。标注的过程可以是给网页中的某个位置打上特殊的标签表明这是要抽取的数据。
3、包装器空间的生成:对标注的数据生成XPath集合空间,对生成的集合进行归纳,形成若干子集。归纳的规则是在子集中的XPath能够覆盖多个标注的数据项,具有一定的泛化能力。
4、包装器评估:准确率和召回率。
因为有监督学习包装器有缺陷(1.手工标注不适合对大量站点的抽取;2.包装器维护成本大),而自动抽取是可行的(网站中的数据通常是用很少一些模板来编码的,通过挖掘多个数据记录中的重复模式来寻找这些模板是可能的)。
1.包装器训练:自动抽取网页中的信息不需要任何的先验知识和人工数据的标注,将一组网页通过聚类将相思的网页分成若干个组,每组相似的网页将获得不同的包装器。
2.包装器应用:将需要抽取的网页与之前生成包装器的网页进行比较,在某个分类下则使用该分类下的包装器来获取网页中的信息。