采集数据用云服务器与公司网站,网络爬虫软件,企业版,大企业,采集内网数据,私有云部署-集搜客GooSeeker...

爬虫路线规划能力

集搜客GooSeeker网络爬虫沿着线索扩展爬行范围，而且不限广度和深度。免费在线版用户在MS谋数台的爬虫路线工作台上规划爬虫路线，主要能力就是：从抓取到的网址上建立下一级线索，这是深度方向，同时抓取到的下级线索不只一个，那么就是在广度方向进行扩展。

总之，网络爬虫抓取网页数据的时候，把一些网址作为广度或者深度方向扩展的线索。免费在线版只能在定义抓取规则的时候规划爬虫路线；而企业版可以有更多规划爬虫路线的选择。

在抓取结果清洗和入库的时候在深度和广度方向生成线索，这是企业版常用的方式，此时，企业版GooSeeker具有最大的灵活性和控制力，比如，可以用入库脚本程序任意控制爬虫路线的生成，可以替换URL中的参数，可以根据URL地址规律批量生成网址，可以在一批网址中根据一定规则进行筛选等等。

最大的灵活性在于爬虫路线的生成时间。当网页抓取用于探索性研究的时候，可以根据需要随时延伸爬虫深度和广度范围，不必在第一次数据清洗过程就把所有线索都生成好了，其实那时可能还不知道是否有必要做爬行范围延展。而且也容易实现同一个网址用于多个抓取主题，分别为不同的研究目的服务。

典型案例

某品牌手机消费者洞察系统中，除了常规的网页抓取和数据挖掘以外，还需要一些事件驱动的抓取，比如某款手机的发布会效果分析，也需要一些深度数据挖掘，比如消费者群体差异研究。为了配合这些分析研究，往往需要灵活的网络爬虫路线规划，在探索研究过程中，不断添加新的数据源，要求网络爬虫向深度和广度进行延展的时候具有足够的灵活性。只有企业版GooSeeker网络爬虫才有这个能力。