信息抽取思考笔记

信息抽取的两种方式：基于内嵌浏览器的navigation的抽取方式和crawler下网页进行离线抽取。

第一种方式可以利用浏览器强大的功能js,ajax和visual方面的信息，来提高抽取的准确性。

但效率比较低，js load的时间比较长，一些情况抽取的数据下无法满足实时性服务的需要。

第二种方式有较高的效率，但web的富客户化，ajax、flex等技术导致许多信息根本无法抽取。

对于第一种方法可以hack浏览器，添加js加载的cache，从cache中直接加载js的url对应的

js文件，能够很大程度减少load页面的时间。

 

对于Deep Web可以进行url及其参数拼装或者发送post请求去获得，google有一篇自动生成配装url和

crawle Deep Web数据的一篇论文，可以在http://www.cs.cornell.edu/~lucja/Publications/i03.pdf 找到

，剑波小童鞋做了翻译http://hi.baidu.com/megaj/blog/item/687b527a95e2b3fc0bd18787.html。

 

当然也可以使用模拟点击和提交表单的开源工具以及基于浏览器的Crawler，当然效率上要有折扣。

在抽取网站数量不是很巨大的情况下，进行Crawler还是可以维护的。