例程01,通过wget方式抓取输入的网页内容
一、测试结果
我们使用例程01对例程00进行抓取测试
上图测试总共分为三次,第一次为http服务关闭状态,第二次为开启状态,第三次为电脑断网状态访问www.baidu.com
二、代码分析
例程01的代码主要分为两个部分,
1、获取URL,创建并启动http任务,
2、抓取response并分析,成功则打印网页内容。
1、获取,创建并启动http任务
这其中使用了WFTaskFactory::create_http_task()来创建一个http任务
static WFHttpTask *create_http_task(const std::string& url,
int redirect_max,
int retry_max,
http_callback_t callback);
static WFHttpTask *create_http_task(const ParsedURI& uri,
int redirect_max,
int retry_max,
http_callback_t callback);
static WFHttpTask *create_http_task(const std::string& url,
const std::string& proxy_url,
int redirect_max,
int retry_max,
http_callback_t callback);
static WFHttpTask *create_http_task(const ParsedURI& uri,
const ParsedURI& proxy_uri,
int redirect_max,
int retry_max,
http_callback_t callback);
关于create_http_task()函数总共有四个重载版本,前三个参数无需解释,最后一个http_callback_t()函数比较关键,这个函数需要自己实现,选择打印错误代码,或者输出抓取的http内容。
task->get_req()函数得到任务的request,默认是GET方法,HTTP/1.1,长连接。框架会自动加上request_uri,Host等。
2、抓取response并分析,成功则打印网页内容
在callback函数中,下面一切的操作都是基于task,在本文最后会对WFHttpTask类进行分析。
(1)访问失败
通过返回的错误代码来判断错误类型并打印在命令行上
(2)访问成功
如果访问成功则通过get->req()函数将http协议信息打印到命令行中
访问成功后打印信息的代码可以分为两部分
1、打印http请求中的头部信息
2、打印http应答中的头部信息,内容
这里使用了一个 protocol::HttpHeaderCursor 的类
class HttpHeaderCursor
{
public:
HttpHeaderCursor(const HttpMessage *message);
virtual ~HttpHeaderCursor();
public:
bool next(struct HttpMessageHeader *header);
bool find(struct HttpMessageHeader *header);
void rewind();
/* std::string interface */
public:
bool next(std::string& name, std::string& value);
bool find(const std::string& name, std::string& value);
protected:
http_header_cursor_t cursor;
};
通过这个函数循环打印http应答中头部数据信息。
3、protocol作用域分析
以protocol作为namespace的class有很多个,并且包含在不同的文件中,例如mian函数中的protocol::HttpRequest属于HttpMessages.h中,callback函数中的protocol::HttpHeaderCursor属于HttpUtil.h中
//HttpMessages.h
namespace protocol
{
struct HttpMessageHeader
{
const void *name;
size_t name_len;
const void *value;
size_t value_len;
};//Http协议头部结构体
class HttpMessage : public ProtocolMessage{};//Http数据报类,继承了通用数据报协议类
class HttpRequest : public HttpMessage{};//Http请求数据报类
class HttpResponse : public HttpMessage{};//Http应答数据报类
}
//HttpUtil.h 对Http数据报的操作
namespace protocol
{
// static class
class HttpUtil{……};//其中包括了设置应答状态,解码chunk编码的内容
class HttpHeaderMap{……};
class HttpHeaderCursor{……};//对request和response的header进行扫描
class HttpChunkCursor{……};//对使用chunk编码的request和response的header进行扫描
}