1、http协议的理解:
2、安装libcur这个库:root用户下:yum list | grep curl
安装带devel的包,带这个的包可以包含头文件;.x86_64:64位操做系统 .i686:32位操作系统 一般64位操作系统可以使用32位系统下的应用程序。
3、学会使用第三方库:libcurl,查看其官方文档:这个库有两组API(即编程接口:EASY interface)
全局初始化:返回一个句柄,创建一个句柄
easyhandle = curl_easy_init();
给句柄设置一些选项:比如下面的指定访问那个url
curl_easy_setopt(handle, CURLOPT_URL, "http://domain.com/");
访问字符串:拿到http的响应报文也是一个字符串:CURLOPT_WRITEFUNCTION回调函数来处理数据应该写到怎样的一个缓冲区中。
curl_easy_setopt(easyhandle, CURLOPT_WRITEFUNCTION, write_data);
详情查询文档:https://curl.haxx.se/libcurl/c/libcurl-tutorial.html
客户端向服务器端发送准备好的请求:通过回调函数把收到的果写到缓冲区中。
success = curl_easy_perform(easyhandle);
释放资源:
# include<curl/curl.h>
void curl_easy_cleanup(CURL *handle);
3、实现过程:bin目录存放可执行程序和单元测试程序
crawler目录存放源代码的程序