爬虫概述
早在2016年,我用我的阿里云ECS上运行了一个长期性质的爬虫程序,内容是采集风云二号气象卫星照片,现在假期终于有时间回来查看结果,简单统计如下(附图):
图片总数:45869 个文件
最早文件:201609131345.jpg
最晚文件:201910091415.jpg
爬虫运行过程
1,数据源:
当时意外获得一个长期有效的数据来源,其URL参数,为时间格式,也就是说有着明显的规律。适合爬虫运行
2,爬虫运行:
这个爬虫的运行条件其实有2个:1定时下载;2不停机运行;
既然是气象数据,当然得定时抓取,所以我写了一个windows服务,置于后台连续运行。虽然中间由于服务器其他问题导致中断过几次,不过架不住时间长久,因此还是成功连续采集了很多数据。
还有个要求就是不能关机,程序需要连续运行。我的最终方案就是使用云服务器ECS部署运行。避免使用个人PC长期开机来运行。
3,处理存储: