开源新闻采集器（一）内容简介

1.最近闲来无事，想把自己最近一段时间工作的东西整理下。

目标：新闻采集器

        1.只需要输入列表网址，采集器将自动采集所有的文章。

　　  2.采集器最后无需写任何采集规则。

       3.基于静态爬虫的HTML分页获取 策略（自己捉摸的，准确度不高）

       4.基于开源项目的内容提取算法（Html2Article）

       5.基于编码的探测的开源项目（NUniversalCharDet）

 

转载于:https://www.cnblogs.com/lmcq/p/3872146.html