使用谷歌chrono插件下载时要用自动刷新插件保持登录状态,防止下载数据为空,缺点是只能用浏览器的默认下载地址进行下载。
当数据比较小的时候,如果同时下载数据的个数比较大,可能会出现503的情况,导致下载错误。
建议大文件用两个,小文件用一个,出现错误的情况比较少,其实只要不连续请求就不会导致网页503,同时下载数为2的时候,只要两个下载时间能错开,比如一个下载50%了,另一个正在写文件,这种情况就可以,基本不会出现503。
使用IDM先添加不同年份的数据连接到各自文件夹,然后设置执行队列的下载数量为2。