基于Winsock2的页面抓取(HTTP GET)C++项目实例

最新推荐文章于 2022-05-25 20:47:15 发布

He Taiyu

最新推荐文章于 2022-05-25 20:47:15 发布

阅读量857

点赞数 3

分类专栏： Jodelle.Spider 文章标签： c++ 页面抓取爬虫 http get web

本文链接：https://blog.csdn.net/qq_30660295/article/details/90543534

版权

本文介绍了基于Winsock2的C++页面抓取项目，详细讲解了HTTP GET操作流程，包括构造报头、接收HTTP响应报文，以及处理分包传输的问题。文章适合有一定Winsock2基础的读者，提供了完整的代码示例，帮助理解实际开发中可能遇到的问题。

摘要由CSDN通过智能技术生成

前言

只了解了HTTP协议，在实际开发中仍然会遇到许多坑，诸如缓冲区设定，分包传输，报文给了Connection为close传输完成服务器却不主动关闭连接导致无法依靠recv断连接退出而被持续阻塞等等。

由于网上的讲HTTP GET的很多文章都有点水，所以才有了这篇文章。可将本文当做初学文章。

本文章的网络通信基于Winsock2的流式套接字，读者需具备此基础，若不了解可先阅读有关文章。本文讲解的内容能应对实际开发中遇到的部分情况。

本文章同步发布与Luogu(点击跳转)

HTTP GET操作流程简介

请求报头构造
参数大全
而本项目中用到的参数就只有Host、User-Agent、Accept-Language、Connection。

下面是本文的示例项目构造出的报头:

注意，报头后面必须至少跟上两个换行符（\r\n）。

GET / HTTP/1.1
Host: www.baidu.com
User-Agent:JodelleSpider
Accept-Language: zh-cn
Connection:close

所有参数中，只有Host是必要的，其他的都不必要!!!

GET即请求方法，代表HttpGet；由于没有URL，所以只有一个光杆“\”；HTTP/1.1即协议版本；Host表示欲请求的服务器主机名；User-Agent表示我方客户端信息；Accept-Language表示我方客户端可接受的语言；Connection表示是否需要持久连接，为close则不需要。

void  HttpGetHead(char* buf, const char* host, const char* url) {
   
	strcat(buf,"GET /");
	if (url != 0)
		strcat(buf, url);
	strcat(buf, " HTTP/1.1\r\nHost: ");
	strcat(buf, host);
	strcat(buf, "\r\nUser-Agent:JodelleSpider");
	strcat(buf, "\r\nAccept-Language: zh-cn");
	strcat(buf, "\r\nConnection:close\r\n");
}

上方代码为构造报头的函数。参数只有host和url。

HTTP响应报文

报文由状态行、报头、数据实体构成。

HTTP/1.1 200 OK
Content-Type: text/html; charset=utf-8
Content-Length: 11207
Cache-Control: no-cache
Connection: close

此为本文章中项目获取的一个响应报头。200 OK即为状态码。

下面是状态码大全：

1xx（临时响应） 
表示临时响应并需要请求者继续执行操作的状态代码。

代码   说明 
100   （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。  
101   （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。

2xx （成功） 
表示成功处理了请求的状态代码。

代码   说明 
200   （成功）  服务器已成功处理了请求。 通常，这表示服务器提供了请求的网页。 
201   （已创建）  请求成功并且服务器创建了新的资源。 
202   （已接受）  服务器已接受请求，但尚未处理。 
203   （非授权信息）  服务器已成功处理了请求，但返回的信息可能来自另一来源。 
204   （无内容）  服务器成功处理了请求，但没有返回任何内容。 
205   （重置内容） 服务器成功处理了请求，但没有返回任何内容。 
206   （部分内容）  服务器成功处理了部分 GET 请求。

3xx （重定向） 
表示要完成请求，需要进一步操作。 通常，这些状态代码用来重定向。

代码   说明 
300   （多种选择）  针对请求，服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。 
301   （永久移动）  请求的网页已永久移动到新位置。 服务器返回此响应（对 GET 或 HEAD 请求的响应）时，会自动将请求者转到新位置。 
302   （临时移动）  服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。 
303   （查看其他位置，跳转至其他页面，目标的url会根据响应的报文告诉你）请求者应当对不同的位置使用单独的 GET 请求来检索响应时，服务器返回此代码。 
304   （未修改,可以直接用本地的缓存） 自从上次请求后，请求的网页未修改过。 服务器返回此响应时，不会返回网页内容。 
305   （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。 
307   （临时重定向）  服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。

4xx（请求错误） 
这些状态代码表示请求可能出错，妨碍了服务器的处理。

代码   说明 
400   （错误请求） 服务器不理解请求的语法。 
401   （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。 
403   （禁止） 服务器拒绝请求。 
404   （未找到） 服务器找不到请求的网页。 
405   （方法禁用） 禁用请求中指定的方法。 
406   （不接受） 无法使用请求的内容特性响应请求的网页。 
407   （需要代理授权） 此状态代码与 401&