感谢邀请,废话不多,直接上操作视频~八爪鱼采集器智能采集天气网https://www.zhihu.com/video/1129681164935540736
我试了一下,楼主说的问题确实存在,同时我对比测试了一下八爪鱼采集器对天气网的采集,使用楼主提供的链接,大概2分钟左右就完成了对所有天气数据及历史数据的采集设置。同时我也把我的操作过程录屏下来,楼主可以按照我的操作过程自己采集。
我说几点体会吧:
1. 这个网站确实挺简单的表格,但是翻页的时候网址不变,这种网页技术叫做局部刷新,或者专业点叫Ajax,感兴趣可以百度下,不过也可以不用管,在视频中可以看出,在设置翻页采集点击上一个月的时候,八爪鱼准确的识别了这个按钮的操作,并自动设置了可视化的采集流程,非常形象直观,一看就明白。
2. 在智能识别的过程中,考验的是算法能力,从这里也可以看出,八爪鱼对比其他采集器在网页智能识别算法上表现更好,不仅自动识别了所有字段,还完整自动识别了整个列表。同时自动识别了翻页按钮所采用的特殊防采集技术。
我特别说明一下,八爪鱼采集器作为行业标杆,是非常关注用户体验的,虽然视频中我是用的是八爪鱼旗舰版本(云采集,api,贴身客服这些对企业级大量数据稳定采集来说都是非常贴心的服务),But,免费版本的八爪鱼是没有任何基本功能限制的,从八爪鱼官方网站http://www.bazhuayu.com(八爪鱼三个字的汉语拼音)直接下载安装八爪鱼即可采集所有网站,对于京东,天猫,大众点评,百度等各行业主流网站,八爪鱼还提供了内置采集模板,无需配置采集规则即可采集主流大站的数据。八爪鱼采集器 - 免费网络爬虫软件_网页数据抓取工具www.bazhuayu.com
欢迎关注或者私信我交流~