libcurl使用时疑难问题【如：文件下载】

最新推荐文章于 2024-05-19 17:11:35 发布
最新推荐文章于 2024-05-19 17:11:35 发布
阅读量2k 收藏 9
点赞数
分类专栏： 开源lib 文章标签： libcurl库 curl_easy_perform 阻塞
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Swallow_he/article/details/83867271
版权

场景：

1. 下载过程中,遇设备突然断网，在使用libcurl提供的API时，出现阻塞不返回的情况，影响了后续的业务。

问题：

 curl_easy_perform是阻塞的方式进行下载的, curl_easy_perform执行后,程序会在这里阻塞等待下载结束(成功结束或者失败结束).此时若正常下载一段时间后,进行网络中断, curl_easy_perform并不会返回失败,而是阻塞整个程序卡在这里,此时即使网络连接重新恢复, curl_easy_perform也无法恢复继续下载,导致整个程序出现”死机”状态.

之前提供的解决办法：

2.1在下载中,另起一个线程,若发现下载状态卡死(可以通过定期检查文件大小来实现),则从外部中断下载线程.此方法需另起线程,而且直接中断线程,会给整个程序带来不稳定.

2.2.下载过程中,设置超时时间为30秒, 30秒后若下载未完成就重新连接进行下载.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

3、我的解决办法（实际代码）：封装libcurl，设置超时时间，以及必要的变量控制

需要注意的设置项

curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 10L);        //timeout for the connect phase
   /* abort if slower than 1 bytes/sec during 6 seconds */

 curl_easy_setopt(curl, CURLOPT_LOW_SPEED_LIMIT, 1);
 curl_easy_setopt(curl, CURLOPT_LOW_SPEED_TIME,  6);

头文件：


typedef struct http_set_opt
{
	int  timeout;
	const char *ca_file;
	const char *ca_path;
	const char *content_type;
	const char *digest_value;
	const char *token;
	void *write_func;
	void *write_data;
	void *progress_func;
	void *progress_data;
	const char *upload_file_path;

	void *read_func;
	void *read_data;
	int   read_data_size;
}http_set_opt_t;

typedef int(*download_file_progress_cbk)(void *lpUserData, int64_t dltotal, int64_t dlnow);

typedef struct http_download_param
{
	http_set_opt_t * http_set_opt;
	/*
	* request
	*/
	const char     * serv_url;
	const char     * store_path;
	/*
	* callback
	*/
	download_file_progress_cbk progress_cbk;
	void *                     progress_cbk_userdata;
	/*
	* attribute
	*/
	int              running;  // abort: < 0, running: 1
	/*
	* defaults
	*/
	char             defaults[16];
}http_download_param_t;

/*
接口
*/
OpenSDK_API int Open_http_client_download_file(http_download_param_t*download_param);

/*
回调
*/
typedef struct 
{
	
int(*Open_http_client_download_file)(http_download_param_t *download_param);
	
}http_client_interface;

CPP文件：

#include <curl.h>
#include <string.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/stat.h>
#include <string.h>

static size_t download_write_func(char *ptr, size_t size, size_t nmemb, void *userdata)
{
	FILE *fp = (FILE *)userdata;

	if(fwrite(ptr, size, nmemb, fp) != (size*nmemb))
	{
		fprintf(stderr, "file:<%s> func:<%s> line:<%d>: fwrite failed\n", __FILE__, __FUNCTION__, __LINE__);
		
	}

	return (size*nmemb);
}
/*
回调
*/
static int http_client_download_file_progress(void *clientp, curl_off_t dltotal, curl_off_t dlnow, curl_off_t ultotal, curl_off_t ulnow)
{
	http_download_param_t *download_param = (http_download_param_t *)clientp;
	if (download_param == NULL || download_param->running < 0)   //特别注意running的使用，可以快速返回
		return -1;

	if (download_param != NULL && download_param->progress_cbk != NULL){
		int64_t totalSize = (int64_t)dltotal;
		int64_t downloadedSize = (int64_t)dlnow;
		download_param->progress_cbk(download_param->progress_cbk_userdata, totalSize, downloadedSize);
	}

	return 0;
}

/*
实现
*/
int Open_http_client_download_file(http_download_param_t *download_param)
{
	if (download_param->serv_url == NULL || download_param->store_path == NULL)
	{
		fprintf(stderr, "file:<%s> func:<%s> line:<%d>: argument for sky_http_client_download_file should not be NULL\n", __FILE__, __FUNCTION__, __LINE__);
		return -1;
	}

	if (download_param->progress_cbk == NULL)
	{
		fprintf(stderr, "file:<%s> func:<%s> line:<%d>: download progress callback func should not be NULL\n", __FILE__, __FUNCTION__, __LINE__);
		return -1;
	}

	long local_file_length = 0;// get_localfile_length(download_param->store_path);
	//fprintf(stderr, "local file length is: %ld\n", local_file_length);

	FILE *fp = fopen(download_param->store_path, "wb");
	if (fp == NULL)
	{
		fprintf(stderr, "file:<%s> func:<%s> line:<%d>: can not open %s\n", __FILE__, __FUNCTION__, __LINE__, download_param->store_path);
		return -1;
	}

	CURL *curl = curl_easy_init();
	if (curl == NULL) {
		fprintf(stderr, "file:<%s> func:<%s> line:<%d>: curl_easy_init failed\n", __FILE__, __FUNCTION__, __LINE__);
		fclose(fp);
		return -1;
	}
	download_param->running = 1;   //注意赋值

	/* 1: set http server url */
	curl_easy_setopt(curl, CURLOPT_URL, download_param->serv_url);

	/* 2:set debug opt */
#if HTTP_DEBUG
	curl_easy_setopt(curl, CURLOPT_VERBOSE, 1);
	curl_easy_setopt(curl, CURLOPT_DEBUGFUNCTION, http_debug);
#endif

	/* 3: set http request method */
	curl_easy_setopt(curl, CURLOPT_HTTPGET, 1);
	curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, download_write_func);
	curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);
	curl_easy_setopt(curl, CURLOPT_XFERINFOFUNCTION, http_client_download_file_progress);
	curl_easy_setopt(curl, CURLOPT_XFERINFODATA, download_param);
	curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 0L);
//	curl_easy_setopt(curl, CURLOPT_RESUME_FROM_LARGE, local_file_length);
	/* abort if slower than 1 bytes/sec during 6 seconds */
        /*
         注意该此处的设置，断网等情况下的死锁
        */
        //timeout for the connect phase
        curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 10L);       
	/* abort if slower than 1 bytes/sec during 6 seconds */
	curl_easy_setopt(curl, CURLOPT_LOW_SPEED_LIMIT, 1L);
	curl_easy_setopt(curl, CURLOPT_LOW_SPEED_TIME,  6L);
	curl_easy_setopt(curl, CURLOPT_LOW_SPEED_LIMIT, 1L);
	curl_easy_setopt(curl, CURLOPT_LOW_SPEED_TIME,  6L);

	if (download_param->http_set_opt != NULL)
	{
		/* 4:set time out by user */
		if (download_param->http_set_opt->timeout)
		{
			curl_easy_setopt(curl, CURLOPT_TIMEOUT, download_param->http_set_opt->timeout);
		}

		/* 5:set CA */
		if (download_param->http_set_opt->ca_file)
		{
			curl_easy_setopt(curl, CURLOPT_CAINFO, download_param->http_set_opt->ca_file);
		}

		if (download_param->http_set_opt->ca_path)
		{
			curl_easy_setopt(curl, CURLOPT_CAPATH, download_param->http_set_opt->ca_path);
			curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 1);
		}
	}
	else
	{
		curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0);
		curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0);
	}

	/* 6:set no signal */
	curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);

	CURLcode ret_code = curl_easy_perform(curl);
	if (ret_code != CURLE_OK)
	{
		fprintf(stderr, "file:<%s> func:<%s> line:<%d>: curl_easy_perform failed, error code: %d\n", __FILE__, __FUNCTION__, __LINE__, ret_code);
		//LOG_WRITE(LOG_LEVEL_ERROR, "curl_easy_perform failed, error code: %d", ret_code);
		if (ret_code == CURLE_COULDNT_CONNECT || ret_code == CURLE_COULDNT_RESOLVE_HOST || ret_code == CURLE_COULDNT_RESOLVE_PROXY)
		{
			fprintf(stderr, "file:<%s> func:<%s> line:<%d>: network problem\n", __FILE__, __FUNCTION__, __LINE__);
			
		}
		else if (ret_code == CURLE_OPERATION_TIMEDOUT){
			fprintf(stderr, "file:<%s> func:<%s> line:<%d>: curl_easy_perform time out\n", __FILE__, __FUNCTION__, __LINE__);
			
		}
		else if (ret_code == CURLE_SSL_CONNECT_ERROR) {
			fprintf(stderr, "file:<%s> func:<%s> line:<%d>: SSL connect error\n", __FILE__, __FUNCTION__, __LINE__);
			
		}
		else if (ret_code == CURLE_SSL_CACERT) {
			fprintf(stderr, "file:<%s> func:<%s> line:<%d>: CA file error\n", __FILE__, __FUNCTION__, __LINE__);
			
		}

		curl_easy_cleanup(curl);
		fclose(fp);
		return -1;
	}

	curl_easy_cleanup(curl);
	fclose(fp);

	return 0;
}

以上为封装的文件下载过程，应用层在使用该接口的时候，需要根据实际的情况，给 http_download_param_t    http_download对象先初始化，memset(&http_download, 0, sizeof(http_download))，在具体的情境下赋值，比如上层的业务突然关闭或者停止，需要将  http_download.running = -1;     这样就内部就能及时地返回结束，而不会使得上层调用 int  result= Open_http_client_download_file(&http_download);接口时被阻塞，不返回；

沉迷WebRTC
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
libcurl下载大文件
06-26
http://blog.csdn.net/infoworld/article/details/46646933 使用libcurl下载大文件简单例子.
c++使用libcurl上传和下载资源
06-11
本篇文章将深入探讨如何在C++中使用`libcurl`进行文件的上传和下载，并结合`nodejs`测试服务端来验证实现。 `libcurl`是一个免费的开源库，用于在各种协议（包括HTTP、HTTPS、FTP等）下进行文件传输。它提供了丰富...
libcurl下载文件断网后，重新连接网络下载阻塞
渀波儿灞
08-22 1750
使用libcurl库下载文件时，调用curl_easy_perform接口执行下载。下载过程中断网再连接网络，则有可能会出现程序不退出，但也没有继续下载的问题。因此可以通过设置下载超时设置，在超过时间程序会因为超时而退出。 curl_easy_setopt( curl, CURLOPT_TIMEOUT, 50); 通过CURLOPT_TIMEOUT设置超时时间，如上述，50S后程序如果...
window上下载配置C++的libcurl+openssl
最新发布
weixin_73008365的博客
05-19 954
最后检验：建立一个工程；（绝对路径）\curl-8.2.1\lib 链接器->附加库目录->（绝对路径）\curl-8.2.1\build\Win64\VC14.30\DLL Release - DLL OpenSSL\；总的来说，首先编译openssl，然后打开curl-all-aln，然后通过属性载入include的openssl和deps，一个是openssl的头文件，另一个是openssl的库；到此编译完成了，libcurl解压的文件里面会出现一个build文件，
libCurl 下载提速
老狼的专栏
06-23 904
1、变量声明 CURL *m_curlhandle; 2、资源初始化 curl_global_init(CURL_GLOBAL_ALL); m_curlhandle = curl_easy_init(); 3、文件数据写入回调函数 size_t writeFunc(void *ptr, size_t size, size_t nmemb, void *stream) { std::cout << "--- write func ---" << std::endl;
一个用libcurl多线程下载断言错误问题的排查
李迟的专栏
03-08 3559
某数据下载程序，相同版本的代码，在64位系统中运行正常，但在32位系统中概率性出现断言错误。一旦出现，程序无法正常继续，即使重启亦不行。从年前会上领导提出要追到根，跟到底，到年后的今天，经过排查、自测、试点，算是告一段落了。文中没有很难的技术问题，但过程还是值得记录的。本文从后来者角度总结一下解决问题的过程，同时给出相关测试代码。由于本文没有技术含量，请谨慎按需阅读。more。
libcurl下载mp3或者其它文件数据混乱,错误问题.
bhlzlx的专栏
01-20 2329
在网上搜了一下: 结果如下 From: Daniel Stenberg daniel_at_haxx.se> Date: Sun, 28 May 2006 01:17:57 +0200 (CEST) On Sun, 28 May 2006, skylark liu wrote: > I use libcurl to download a file (like abc.jp
libcurl下载数据不全的问题
hiphopmattshi的专栏
04-01 5528
今天终于在网上搜到英文答案了 curl not downloading full webpage I am trying to run a simple program to start learning curl, but it doesn't get the whole page, merely ~20KB of it :/ #include #includ
libcurl库实战之下载ftp文件并设置下载速度
她的吻让他
11-08 1765
  前言 一直对ftp下载的速度感到质疑,ftp的下载速度到底如何呢,经过我一番搜索,找到一份资源,讲解还蛮详细,在此特地给出链接 https://jingyan.baidu.com/article/e4511cf32b2cea2b845eafb2.html 通过他的方法,我找到ftp速度的基础来源 在系统配置中可以看到ftp下载速度的最大值是宽带最大值的20%(默认),可在此设置速...
qt封装libcurl文件下载
04-28
在本文中，我们将深入探讨如何在Windows环境下使用Qt5框架封装libcurl库，实现多线程、断点续传功能的文件下载。libcurl是一个强大的开源库，支持多种网络协议，包括FTP和HTTP，而Qt5则是一个广泛使用的C++图形用户...
libcurl下载文件并显示进度
10-22
在本场景中，我们关注的是如何使用libcurl通过HTTP协议下载文件并实时显示下载进度。下面将详细介绍这个过程。 首先，我们需要理解libcurl的基本用法。libcurl提供了一系列的API函数，用于初始化、设置选项、执行...
一个基于WinHttp的轻量级的分片下载库介绍
04-24
QMTinyDL_SDK_Bin.zip包含的内容： 1、头文件IQMTinyDL.h 2、MD和MT版本的QMTinyDL.dll二进制文件（debug和release版本都有），使用VS2005编译。 3、MD和MT版本的QMTinyDLLib.lib二进制文件（debug和release版本都有），使用VS2005编译。 主要目的 1、下载文件到内存。 2、下载分片Range文件（譬如下载某个资源文件的第100字节到第150字节的内容）。 3、不需要回调线程是UI线程（有消息循环）。 适用场景 1、小文件全量下载（注：暂未支持断点续传）。 2、分片文件下载（注：下载某个文件中的一段内容）。 3、支持https协议（仅支持只需要验证服务器端的情况）。 适用系统 受限于WinHttp的支持，本库需要Windows XP SP1以上或者Windows 2000 SP3以上才能使用。
vc++使用libcurl下载文件，支持断点续传，支持多文件下载
08-09
vc++使用libcurl下载文件，支持断点续传，支持多文件下载；代码经测试，可以编译运行；使用url解析文件名；谢谢支持！
libcurl进度下载文件
02-22
利用libcurl下载大文件时往往需要考虑进度问题，以前一直是假的进度，今天抽空看下libcurl源码以及网上资料，把进度条实现一下，主要是通过回调函数的方式，配合curl提供的api接口，详情查看：...
使用libcurl遇到的问题
sunnyleevip的专栏
11-13 3563
随手记录 1 当get数据
【文件分片下载 libcurl】
weixin_45397344的博客
12-28 448
【代码】【文件分片下载 libcurl】
QT中使用libCurl实现多线程分块下载单个文件
秋月的私语
11-10 1201
文章目录 目录 文章目录 前言 一、软件界面 二、使用步骤 1.引入库 2.在widget中动态创建进度条 3.工程分享 总结 前言 本文主要讲述了在Ｌｉｎｕｘ下使用libcurl进行多线程下载的方法，代码参考了libcurl使用多线程下载大文件源码示例！，感谢原作者的辛苦付出，另外本文使用到了libcur，所以需要编译Libcurl，编译的方法参考我之前的博文Linux下使用libcurl下载入门（编译与示例），其实也是非常简单的。 一、软件界面 软件使用了四个线程下载，分.
[libcurl]_[初级]_[使用libcurl下载大文件]
热门推荐
Tobey(我是机器人)
06-26 1万+
1. 在Windows编程时, 下载http页面(html,xml)可以使用winhttp库,但是并不是很下载文件,因为会失败. 由此引出了WinINet库，无奈这个库的稳定性比较低，使用例子又少， 下载大文件时经常是不完整，可查找的资料很少或者是没有特殊情况的解决办法。 2. 我的原则是如果系统有自带的就用系统的，但是 WinINet 要掌握需要花不少时间. 时间因素考虑到了libcurl.
使用libcurl的坑
码农囚徒
07-20 532
libcurl应该是一个基础的不能再基础的库，最近在开发一个Android下的SDK，需要用到http请求，所以自然而然使用了libcurl。也就是这个libcurl真的把人坑坏了。 因为需要给android使用，所以先用ndk编译成so，再通过jni调用。 起初一切都没问题，但是在测试阶段发现当请求超时时，会导致android的app崩溃。查看日志，发现封装的jni接口已经返回到jav...
libcurl 下载文件
07-27
libcurl 是一个非常强大的开源网络库，它提供了在各种操作系统上进行文件下载的功能。使用 libcurl 可以实现简单且有效的文件下载。下面是一个使用 libcurl 下载文件的示例： 1. 引入 libcurl 头文件： ```c #include <curl/curl.h> ``` 2. 定义回调函数： 这个回调函数会在下载数据时被调用，我们可以在这个函数中处理下载的数据。 ```c size_t write_callback(void *contents, size_t size, size_t nmemb, void *userp) { size_t realsize = size * nmemb; FILE *file = (FILE *)userp; if (file != NULL) { fwrite(contents, size, nmemb, file); } return realsize; } ``` 3. 执行下载： 在主函数中，我们可以使用 libcurl 提供的函数进行下载。 ```c int main(void) { CURL *curl; FILE *file; curl = curl_easy_init(); if (curl) { // 设置下载的 URL curl_easy_setopt(curl, CURLOPT_URL, "http://example.com/file.txt"); // 打开文件用于保存下载的数据 file = fopen("file.txt", "wb"); if (file != NULL) { // 设置回调函数 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback); curl_easy_setopt(curl, CURLOPT_WRITEDATA, file); // 执行下载 curl_easy_perform(curl); // 关闭文件 fclose(file); } // 清理资源 curl_easy_cleanup(curl); } return 0; } ``` 以上是使用 libcurl 下载文件的简单示例，它能够通过指定的 URL 下载文件，并将文件保存在本地。使用 libcurl 还可以设置代理、设置下载进度回调等更多功能，使得文件下载功能更加强大和灵活。通过 libcurl，我们可以轻松地在我们的应用程序中实现文件下载功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值