数据爬取需求中,有增量爬取数据概念
和需求人员反复确认后的需求为:数据源上的文件会无规律的增加,爬取程序需要满足每次都是增量下载。下载失败后重新下载。
后期和客户现场联调时发现,需求和客户的侧重点不一样:客户侧重点为下载失败后,已经成功下载的文件不可以再重新下载。
幸好开发时考略到这一点,之后简单修改部分代码就可达到客户要求。
开发中考虑多一点,后期轻松一点
最新推荐文章于 2024-08-27 14:44:27 发布
数据爬取需求中,有增量爬取数据概念
和需求人员反复确认后的需求为:数据源上的文件会无规律的增加,爬取程序需要满足每次都是增量下载。下载失败后重新下载。
后期和客户现场联调时发现,需求和客户的侧重点不一样:客户侧重点为下载失败后,已经成功下载的文件不可以再重新下载。
幸好开发时考略到这一点,之后简单修改部分代码就可达到客户要求。