新闻采集器

新闻采集器是将非结构化的新闻文章从多个新闻来源网页中抽取出来保存到结构化的数据库中的软件。

　　 主要功能

　　根据用户自定义的任务配置，批量而精确地抽取目标网络媒体栏目中的新闻或文章，转化为为结构化的记录(标题，作者，内容，采集时间，来源，分类，相关图片等)，保存在本地数据库中，用于内部使用或外网发布，快速实现外部信息的获取。

　　 主要技术

　　新闻采集器核心技术是模式定义和模式匹配。模式属于人工智能的术语，意思为物体前人积累的经验的抽象和升华。简单地说，就是从不断重复出现的事件中发现和抽象出的规律，是解决问题的经验的总结。只要是一再重复出现的事物，就可能存在某种模式。

　　所以要让新闻采集器能够运行，目标网站必须具备重复出现的特征。目前大多网站都是动态生成的，这样就会让同一模板的页面包含相同的内容，新闻采集器正是利用这些相同的内容来定位采集数据的。

　　新闻采集器中的模式大多不是程序自动发现的，目前几乎所有的新闻采集器产品都需要通过人工来定义。但模式本身是个很复杂，很抽象的内容，所以所有的开发者精力都花在怎样让模式定义更简单，更准确，这也是新闻采集器竞争力的衡量标准。

　　但我们怎样来描述模式呢，目前技术主要有两种方式：正则表达式定义和文档结构定义。

　　 正则表达式定义

　　正则表达式定义是目前主流应用的技术，主要代表为火车头采集器。此技术简单，灵活性高。但用户操作复杂。由于此模式作用于网页的源代码上，因此匹配的结果受代码版面格式影响比较大，并且也不够直观，对比较复杂的页面结构几乎无能为力。 目前已经有几款产品使用辅助工具来减低用户的操作难度。

　　 文档结构定义

　　文档结构定义应该说它是目前最先进的技术，已经具备一定的模式学习能力。此模式作用于文档这一层，不同于正则表达式作用于页面源代码。所谓文档这一层，指的是源代码运行后所生成的实际对象，即用户在浏览器所看到的内容。所以操作可视化是此技术天生就具备的能力。

　　由于它是对文档结构进行匹配，所以它不受页面源代码的影响，用户定义比较直观，并且程序能够根据文档对象获取更多的逻辑上的特征信息，匹配更准确，通用性更强。

　　此技术在学术研究论文上已经呈现过，也在几家实验室开发出此类产品。但真正在商业上应用很少。

　　目前能够面向普通大众的，只有DM实验室推出的视采采集器 ^[1]，该产品不仅在技术起点上比较高，而且在用户使用这一层上，所独有的实时用户操作向导功能也是让人惊奇的，此技术让专业级操作变为傻瓜式操作，真是科学让一切变为可能！

　　 代表

　　视采新闻采集器；乐思新闻采集器；万能新闻采集器；新浪新闻采集器

转载于:https://www.cnblogs.com/openso2009/archive/2009/09/14/1566433.html