curl下载示例

已于 2022-06-28 10:05:35 修改
阅读量1k 收藏
点赞数
分类专栏： c/c++ 文章标签： c++ 开发语言
于 2022-06-28 10:02:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43246170/article/details/125496798
版权

.h

    static bool curlDownloadFile(const std::string &remotepath,
                                 const std::string &localpath,
                                 ProgressData &progressdata,
                                 downloadProgressCallBack cb = NULL,
                                 LoadType type = HTTP,
                                 char* user_pwd = NULL,
                                 char *port = NULL,
                                 bool resume = false,
                                 long timeout = 5,
                                 long tries = 3);

.cpp

int  defaultDownloadProgressFunc(char *progress_data,
                                                 double dltotal,double dlnow,
                                                 double ultotal,double ulnow)
{
    ProgressData* pd = (ProgressData*)progress_data;
    pd->ret.dresult.dlnow = dlnow;
    pd->ret.dresult.dltotal = dltotal;
    if(!(dltotal - 0.0))
        pd->ret.dresult.downloadgdrate = (dlnow)*100.0/( dltotal);
    else
        pd->ret.dresult.downloadgdrate = 0.0;

    std::cout << dlnow << "<--->" << dltotal << std::endl;
    return  0;
}

#if 0
//阻塞型下载
bool curlDownloadFile(const std::string& remotepath,
                                      const std::string& localpath,
                                      ProgressData& progressdata,
                                      downloadProgressCallBack cb, /*progress callback function*/
                                      LoadType type,char* user_pwd,char *port,
                                      bool resume, long timeout , long tries )
{

    // 文件名包含中文会导致文件下载失败


    // printf("%s %d : %s  %s \n",__FUNCTION__,__LINE__,localpath,remotepath);
    std::cout << __FUNCTION__ <<__LINE__ << "    " << remotepath << "   " << localpath << std::endl;

    CURL *curlhandle = NULL;
    // curl_global_init(CURL_GLOBAL_ALL);

    curlhandle = curl_easy_init();
    if(!curlhandle){  return false; }

    FILE *f;
    long filesize =0 ;
    CURLcode r = CURLE_GOT_NOTHING;

    struct myprogress prog;
    char *progress_data = (char*) &prog;
    long intiSize = 0;
    FILE *file = fopen(localpath.c_str(),"wb");
    if(!file){
        perror(" open failed.\n");
        return r;
    }

    intiSize = filelength(fileno(file));
    fclose(file);
    prog.local_file_len = intiSize;


    // if( prog.local_file_len > 0) resume  = 1;

    f = fopen(localpath.c_str(), "ab+");
    if ( NULL == f ) {
        perror(NULL);
        return false;
    }


    /// 解决传参中包含中文乱码的问题
    using namespace  TiangongCloud;
    QString remotePathQstring = str2qstr(remotepath);
    QStringList lst = remotePathQstring.split("/");
    lst.removeLast();
    QString rFileName = lst.last();
    QFileInfo info(remotePathQstring);
    QString _baseName = info.baseName();
    QString _surfix = info.suffix();

    qDebug() << __FUNCTION__ << __LINE__ << _baseName << _surfix;

    /// basename可能是中文，必须转码

    QString prePath = lst.join("/");
    string param;
    char * escape_control = curl_escape(_baseName.toStdString().c_str(), _baseName.length());
    param = string(escape_control);
    curl_free(escape_control);

    // %E8%BD%B4-PMI.par
    // %D6%E1-PM.par
    // string dlurl = qstr2str(prePath) + "/" + param + + "." + _surfix.toStdString() + rFileName.toStdString();
    // std::cout << __FUNCTION__ <<__LINE__ << "    " <<  dlurl << std::endl;

    // curl_easy_setopt(curlhandle, CURLOPT_URL, remotepath );
    curl_easy_setopt(curlhandle, CURLOPT_URL, string(string_To_UTF8(remotepath)).c_str()  );

    std::cout << "++++++++++++++++++ " << __FUNCTION__ << "   " << __LINE__ << "  "
              << remotepath << "    " << string_To_UTF8(remotepath) << std::endl;

    if(timeout)
        curl_easy_setopt(curlhandle, CURLOPT_CONNECTTIMEOUT, timeout);
    curl_easy_setopt(curlhandle, CURLOPT_HEADERFUNCTION, &sdkcommucation::getcontentlengthfunc);
    curl_easy_setopt(curlhandle, CURLOPT_HEADERDATA, &filesize);
    curl_easy_setopt(curlhandle, CURLOPT_RESUME_FROM_LARGE, resume ? prog.local_file_len : 0);
    curl_easy_setopt(curlhandle, CURLOPT_WRITEDATA, f);
    curl_easy_setopt(curlhandle, CURLOPT_WRITEFUNCTION, &sdkcommucation::write_data);

    if(cb)
        curl_easy_setopt(curlhandle, CURLOPT_PROGRESSFUNCTION, cb);
    else
        curl_easy_setopt(curlhandle, CURLOPT_PROGRESSFUNCTION, defaultDownloadProgressFunc);

    curl_easy_setopt(curlhandle, CURLOPT_PROGRESSDATA, &progressdata);

    if(FTP == type){
        /* "name:password" to use when fetching. */
        curl_easy_setopt(curlhandle, CURLOPT_USERPWD, user_pwd);
        curl_easy_setopt(curlhandle, CURLOPT_FTPPORT,port ? port : "-");
        curl_easy_setopt(curlhandle, CURLOPT_FTP_CREATE_MISSING_DIRS, 0L);
    }

    curl_easy_setopt(curlhandle, CURLOPT_SSL_VERIFYPEER, 0);
    curl_easy_setopt(curlhandle, CURLOPT_SSL_VERIFYHOST, 0);
    curl_easy_setopt(curlhandle, CURLOPT_NOPROGRESS, 0L);
    curl_easy_setopt(curlhandle, CURLOPT_VERBOSE, 1L);

    for(int c = 0; (r != CURLE_OK) && (c < tries); c++) {
        r = curl_easy_perform(curlhandle);
    }

    if (r != CURLE_OK){
        fprintf(stderr, "==>  %s\n", curl_easy_strerror(r));
    }

    fclose(f);
    curl_easy_cleanup(curlhandle);
    curl_global_cleanup();

    return r == CURLE_OK;
}
#else //非阻塞型下载
bool curlDownloadFile(const std::string& remotepath,
                                      const std::string& localpath,
                                      ProgressData& progressdata,
                                      downloadProgressCallBack cb, /*progress callback function*/
                                      LoadType type,char* user_pwd,char *port,
                                      bool resume, long timeout , long tries )
{

    // 文件名包含中文会导致文件下载失败

    // printf("%s %d : %s  %s \n",__FUNCTION__,__LINE__,localpath,remotepath);
    std::cout << __FUNCTION__ <<__LINE__ << "    " << remotepath << "   " << localpath << std::endl;

    CURL *curlhandle = NULL;
    // curl_global_init(CURL_GLOBAL_ALL);
    CURLM *multi_handle;
    int still_running = 0; /* keep number of running handles */
    int repeats = 0;

    curl_global_init(CURL_GLOBAL_DEFAULT);

    curlhandle = curl_easy_init();
    if(!curlhandle){  return false; }

    multi_handle = curl_multi_init();
    if(!multi_handle){  return false; }

    /* add the individual transfers */
    curl_multi_add_handle(multi_handle, curlhandle);

    FILE *f;
    long filesize =0 ;
    CURLMcode r = CURLM_CALL_MULTI_PERFORM;

    struct myprogress prog;
    char *progress_data = (char*) &prog;
    long intiSize = 0;
    FILE *file = fopen(localpath.c_str(),"wb");
    if(!file){
        perror(" open failed.\n");
        return r;
    }

    intiSize = filelength(fileno(file));
    fclose(file);
    prog.local_file_len = intiSize;


    // if( prog.local_file_len > 0) resume  = 1;

    f = fopen(localpath.c_str(), "ab+");
    if ( NULL == f ) {
        perror(NULL);
        return false;
    }


    /// 解决传参中包含中文乱码的问题
    using namespace  TiangongCloud;
    QString remotePathQstring = str2qstr(remotepath);
    QStringList lst = remotePathQstring.split("/");
    lst.removeLast();
    QString rFileName = lst.last();
    QFileInfo info(remotePathQstring);
    QString _baseName = info.baseName();
    QString _surfix = info.suffix();

    qDebug() << __FUNCTION__ << __LINE__ << _baseName << _surfix;

    /// basename可能是中文，必须转码

    QString prePath = lst.join("/");
    string param;
    char * escape_control = curl_escape(_baseName.toStdString().c_str(), _baseName.length());
    param = string(escape_control);
    curl_free(escape_control);

    // %E8%BD%B4-PMI.par
    // %D6%E1-PM.par
    // string dlurl = qstr2str(prePath) + "/" + param + + "." + _surfix.toStdString() + rFileName.toStdString();
    // std::cout << __FUNCTION__ <<__LINE__ << "    " <<  dlurl << std::endl;

    // curl_easy_setopt(curlhandle, CURLOPT_URL, remotepath );
    UTool tool;
    curl_easy_setopt(curlhandle, CURLOPT_URL, string(string_To_UTF8(tool.urlcode(remotepath))).c_str()  );

    std::cout << "++++++++++++++++++ " << __FUNCTION__ << "   " << __LINE__ << "  "
              << remotepath << "    " << string_To_UTF8(tool.urlcode(remotepath)) << std::endl;

    if(timeout)
        curl_easy_setopt(curlhandle, CURLOPT_CONNECTTIMEOUT, timeout);
    curl_easy_setopt(curlhandle, CURLOPT_HEADERFUNCTION, &sdkcommucation::getcontentlengthfunc);
    curl_easy_setopt(curlhandle, CURLOPT_HEADERDATA, &filesize);
    curl_easy_setopt(curlhandle, CURLOPT_RESUME_FROM_LARGE, resume ? prog.local_file_len : 0);
    curl_easy_setopt(curlhandle, CURLOPT_WRITEDATA, f);
    curl_easy_setopt(curlhandle, CURLOPT_WRITEFUNCTION, &sdkcommucation::write_data);

    if(cb)
        curl_easy_setopt(curlhandle, CURLOPT_PROGRESSFUNCTION, cb);
    else
        curl_easy_setopt(curlhandle, CURLOPT_PROGRESSFUNCTION, defaultDownloadProgressFunc);

    curl_easy_setopt(curlhandle, CURLOPT_PROGRESSDATA, &progressdata);

    if(FTP == type){
        /* "name:password" to use when fetching. */
        curl_easy_setopt(curlhandle, CURLOPT_USERPWD, user_pwd);
        curl_easy_setopt(curlhandle, CURLOPT_FTPPORT,port ? port : "-");
        curl_easy_setopt(curlhandle, CURLOPT_FTP_CREATE_MISSING_DIRS, 0L);
    }

    curl_easy_setopt(curlhandle, CURLOPT_SSL_VERIFYPEER, 0);
    curl_easy_setopt(curlhandle, CURLOPT_SSL_VERIFYHOST, 0);
    curl_easy_setopt(curlhandle, CURLOPT_NOPROGRESS, 0L);
    curl_easy_setopt(curlhandle, CURLOPT_VERBOSE, 1L);

    /* we start some action by calling perform right away */
    r = curl_multi_perform(multi_handle, &still_running);

    while(still_running) {
      int numfds;

      /* wait for activity, timeout or "nothing" */
      r = curl_multi_wait(multi_handle, NULL, 0, 1000, &numfds);

      if(r != CURLM_OK) {
          r = CURLM_BAD_EASY_HANDLE;
        fprintf(stderr, "curl_multi_wait() failed, code %d.\n", r);
        break;
      }

      /* 'numfds' being zero means either a timeout or no file descriptors to
         wait for. Try timeout on first occurrence, then assume no file
         descriptors and no file descriptors to wait for means wait for 100
         milliseconds. */

      if(!numfds) {
        repeats++; /* count number of repeated zero numfds */
        if(repeats > 1) {
          WAITMS(100); /* sleep 100 milliseconds */
        }
      }
      else
        repeats = 0;

      if (repeats > 30)  //30s重连
      {
          r = CURLM_BAD_EASY_HANDLE;
          fprintf(stderr, "netwoek is error:%d", r);
          break;
      }

      r = curl_multi_perform(multi_handle, &still_running);
    }

    curl_multi_remove_handle(multi_handle, curlhandle);

    curl_easy_cleanup(curlhandle);

    curl_multi_cleanup(multi_handle);

    curl_global_cleanup();

    fclose(f);

    return r == CURLE_OK;
}
#endif
东方忘忧
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
curl下载curl包下载
06-03
在压缩包`curl文件`中，可能包含了不同版本的`curl`，包括源代码、预编译二进制文件、文档、示例脚本等。解压后，你可以根据需要进行编译安装或直接运行二进制文件。如果包含源代码，通常需要`gcc`或其他C编译器来...
PHP使用CURL实现下载文件功能示例
10-16
主要介绍了PHP使用CURL实现下载文件功能,结合具体实例形式分析了php基于curl的文件下载实现技巧,代码注释有详细的功能说明,并附带了curl参数的功能讲解,需要的朋友可以参考下
CURL在Windows上如何下载
m0_57236802的博客
09-05 4534
在 Windows 上使用curl来下载文件通常与在 Linux 或 macOS 上使用它非常相似。如果你的 Windows 系统已经安装了curl（Windows 10 的较新版本通常默认安装了），你可以直接从命令提示符（Command Prompt）或 PowerShell 中使用它。
Curl【实例 01】curl下载使用及cmd实例脚本分享（通过请求下载文件）
Java与大数据相关实践内容分享！
05-30 5956
curl下载使用及cmd实例脚本分享（通过请求下载文件）
使用curl命令下载文件详解及示例
最新发布
Leon_Jinhai_Sun的博客
06-13 408
使用curl命令下载文件详解及示例
wget和curl下载JDK
weixin_34353714的博客
10-29 368
2019独角兽企业重金招聘Python工程师标准>>> ...
php 文件下载
xueqiang1124的专栏
05-20 464
//文件下载 $file = './../1.xls';  if (file_exists($file)) {  header('Content-Description: File Transfer');  header('Content-Type: application/octet-stream');  header('Content-Disposition: attachm
curl下载及环境配置教程（CTF夺旗赛）——网络安全
qq_33163464的博客
07-14 618
4、再在：系统变量，里面找到：Path中再添加上面创建的地址curl。5、最后测试下是否配置成功，输入curl -V命令，显示内容如下图。2、在系统环境变量里设置路径，路径根据下图来看。
curl 下载带进度条
03-26
通常，`gh-pages`分支是GitHub用来托管项目的静态网页，所以这个压缩包可能包含了示例代码、解释文档或者一个web页面，用于演示如何在命令行界面中使用curl和pv创建进度条。 总的来说，通过`curl`的`--progress-bar...
curl 代码示例
09-19
在 `curl` 的上下文中，这个文件可能展示了如何使用 `curl` 与本地文件系统交互，如下载文件到本地，或者从本地读取文件上传。 3. **synctime.c**：可能涉及时间同步功能，这对于网络通信尤其重要，确保数据在正确...
使用curl下载压缩文件
胡聊前端的博客
01-30 3326
curl -o nodev14.tar.gz -L https://npm.taobao.org/mirrors/node/v14.9.0/node-v14.9.0-linux-x64.tar.gz 其中： -o 指明输出到一个文件而不是标准输出 -o, --output FILE Write output to <file> instead of stdout -L 指明若有重定向则跟踪重定向 -L, --location Follow redirects (H) 完整命令
CUrlHttp封装curl类
07-21
CUrlHttp类是根据curl库提供的接口。支持get、post、表单提交方式请求
curl_windows
12-15
windows下的curl 版本：curl_745_0 可以在windows下使用的curl。 从官网下载的
Curl 下载安装和配置
热门推荐
极客星云-CSDN博客
09-30 3万+
Curl 就是一个可以通过命令行发送GET,POST 等多种协议请求的工具。
C++使用curl下载文件（get请求）
Keras深度学习
10-11 2万+
使用curl也可以下载文件，代码如下： #include<iostream> #include<string> #include<curl\curl.h> using namespace std; //下载文件数据接收函数 size_t dl_req_reply(void *buffer, size_t size, size_t nmemb, void *us...
C CURL 实现文件下载
shengzhe8688的专栏
09-28 671
【代码】C CURL 实现文件下载。
CURL C++下载文件（断点续传）
qiufeng_xinqing的专栏
03-18 361
【代码】CURL C++下载文件（断点续传）
curl_easy_setopt的基本选项解析
DuckyLoser的博客
07-17 3044
CURLcodecurl_easy_setopt(CURL *handle, CURLoption option, parameter); 网络选项(NETWORK OPTIONS)： 1. CURLOPT_URL 这个选项后面接实际要放访问Http服务器的URL地址 ，这个 URL 是一个以 '\0' 结尾的字符串； 2. CURLOPT_POSTFIELDSIZE 该选项是指向一个向 H...
curl post 示例
03-15
当使用cURL进行POST请求时，可以通过以下示例来进行介绍： ```bash curl -X POST -H "Content-Type: application/json" -d '{"key1":"value1", "key2":"value2"}' https://example.com/api ``` 在上述示例中，我们...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东方忘忧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值