七牛云异步抓取java_异步第三方资源抓取

描述

从指定 URL 抓取资源，并将该资源存储到指定空间中。每次只抓取一个文件，抓取时可以指定保存空间名和最终资源名。

发起任务

说明

抓取动作是异步操作，接受到抓取请求后服务端直接返回成功，资源会在后台进行抓取后存入存储，并产生一个回调请求通知业务服务器(如果存在回调参数)。

因为各种原因抓取失败时会产生一个json格式的特殊回调通知业务服务器。

如果被抓取的源站屏蔽(屏蔽可能是抓取源站有 IP、UA 等限制策略)来自七牛的抓取操作，那么不能确保一定可以抓取成功。

请求(示例参数不完整,详见请求参数部分)

POST /sisyphus/fetch HTTP/1.1

Host: api-.qiniu.com

Content-Type: application/json

Authorization: Qiniu

Body:

{

"url" : "",

"host" : "",

"bucket": "",

"key": "",

"md5": "",

"callbackurl": "",

"callbackbody": "",

"callbackbodytype": "",

"file_type":

}

请求参数

Host: api-.qiniu.com 中的 为七牛各区域机房代号，