VC++网络编程实战：获取网页源代码

陳寶平

于 2024-09-01 10:30:06 发布

阅读量909

点赞数 18

本文链接：https://blog.csdn.net/weixin_30995917/article/details/141793800

版权

本文还有配套的精品资源，点击获取

简介：在软件开发中，使用VC++获取网页源代码是一项基础但重要的任务，特别是在需要与网络交互的Windows平台应用程序开发中。通过WinINet库和HTTP协议，开发者可以构建C++程序以发送HTTP GET请求，接收响应并读取网页内容。关键步骤包括初始化网络会话、建立连接、发送请求、处理响应以及资源的释放和错误处理。本指南将详细介绍这些概念，并通过实际代码示例展示如何实现从URL获取网页源代码的功能。

1. VC++与网络编程基础

随着互联网技术的飞速发展，网络编程已经成为了程序员必须掌握的基础技能之一。本章将探讨VC++在网络编程中的应用，首先从基础的概念讲起，确保读者对网络编程有初步的理解，然后逐步深入，为后续章节中WinINet库的实际应用和HTTP协议的深入讲解打下坚实的基础。

网络编程涉及计算机网络协议、套接字编程等概念，是构建分布式应用的基石。在VC++环境中，主要通过Windows Sockets API，即Winsock，进行网络编程。Winsock是一个Windows平台下的网络通信编程接口，通过它，开发者可以在应用程序中实现网络通信功能。

在开始网络编程之前，理解网络通信的七层模型，即OSI模型，是一个很好的起点。OSI模型将网络通信过程划分为物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。每一层都有其特定的功能和协议。在实际的网络编程中，我们通常关注传输层（如TCP和UDP协议）及以上层，因为Winsock为我们抽象出了物理层、数据链路层和网络层的复杂性。

本章内容为后续章节的学习做了必要的铺垫，确保读者对网络编程的基本概念有所掌握。在下一章中，我们将详细介绍WinINet库的使用，它是Winsock的一个高级封装，简化了网络编程过程，特别适合于需要快速开发的场景。

2. WinINet库使用

2.1 WinINet库概述

2.1.1 WinINet库的组成与特点

WinINet（Windows Internet）是Windows平台上的一种网络通信API，它提供了一组简单的函数用于对HTTP和FTP协议进行支持。WinINet库是为方便在Windows应用程序中实现网络连接而设计的，它封装了更底层的Winsock API。其主要特点是：

易用性 ：WinINet API提供了高级封装，简化了网络请求的发起和处理。
支持多种协议 ：通过WinINet可以方便地实现HTTP和FTP请求，这使得WinINet在需要这些协议支持的网络编程任务中非常实用。
线程安全 ：WinINet支持在多线程环境中使用，允许同时进行多个网络操作。
缓存支持 ：它自动管理一个本地缓存，可以提高访问速度和减少网络带宽消耗。

2.1.2 WinINet与WinHTTP的区别

WinHTTP是另一个Windows网络API，与WinINet相比，它更底层、更灵活，并提供了更多的控制能力。主要区别在于：

适用范围 ：WinINet主要用于简单的网络请求，而WinHTTP可用于复杂的网络操作，比如支持代理和身份验证。
API复杂度 ：WinHTTP API较为复杂，适合熟悉网络协议的开发者使用；WinINet则相对简单，易于上手。
性能与控制 ：WinHTTP在性能上略优，且因为API更接近网络协议细节，它提供了更高的控制度。

2.2 WinINet库的初始化与配置

2.2.1 初始化WinINet会话

在使用WinINet API之前，必须初始化一个会话句柄。这可以通过调用 InternetOpen 函数来完成，它是启动WinINet会话所必需的步骤。以下是基本的初始化代码示例：

HINTERNET hInternet = InternetOpen(
    L"ApplicationName",   // 用户代理字符串
    INTERNET_OPEN_TYPE_PRECONFIG, // 使用注册表设置
    NULL,                  // 代理服务器名称
    NULL,                  // 代理服务器端口
    0                      // 标志
);

参数说明 ： - "ApplicationName" ：标识此应用程序的用户代理字符串，这可以是任何字符串，用于向服务器标识发起请求的应用程序。 - INTERNET_OPEN_TYPE_PRECONFIG ：使用用户的Internet选项设置，如果要使用显式代理服务器，则需要使用 INTERNET_OPEN_TYPE_PROXY 。 - NULL ：不使用代理服务器。 - 0 ：不使用额外的标志。

逻辑分析 ： - InternetOpen 将创建一个全局的Internet句柄，并进行必要的初始化，以便进行网络请求。此函数只应在应用程序启动时调用一次。 - 在成功初始化后，你将得到一个 HINTERNET 类型的句柄，它将用于后续所有WinINet函数调用中，作为会话句柄。

2.2.2 全局配置设置

WinINet允许你进行一些全局配置设置，比如缓存行为、超时设置、代理配置等。要修改这些设置，你需要使用 InternetSetOption 函数。以下是一个示例，展示了如何设置连接超时：

DWORD dwConnectTimeout = 10000; // 10秒
BOOL bResult = InternetSetOption(
    hInternet,                 // 会话句柄
    INTERNET_OPTION_CONNECT_TIMEOUT, // 设置选项
    (LPVOID)&dwConnectTimeout,      // 超时设置
    sizeof(dwConnectTimeout)        // 设置大小
);

参数说明 ： - hInternet ：先前创建的会话句柄。 - INTERNET_OPTION_CONNECT_TIMEOUT ：设置超时选项。 - &dwConnectTimeout ：超时的毫秒数。 - sizeof(dwConnectTimeout) ：参数大小。

逻辑分析 ： - 通过 InternetSetOption ，可以改变WinINet的全局行为。在这个例子中，我们将超时时间设置为10秒。 - 如果调用成功，返回值为 TRUE ；失败则为 FALSE 。通常，你需要检查返回值以确保设置成功。

2.2.3 用户代理字符串的配置

用户代理字符串（User-Agent）通常在HTTP请求头中发送给服务器，用于标识发起请求的浏览器或应用程序。通过WinINet，用户可以自定义这个字符串。以下是如何设置用户代理字符串的示例：

 LPCWSTR lpszUserAgent = L"CustomUserAgent/1.0";
 BOOL bResult = InternetSetOption(
    hInternet,                 // 会话句柄
    INTERNET_OPTION_USER_AGENT, // 设置选项
    (LPVOID)lpszUserAgent,     // 用户代理字符串
    (lstrlen(lpszUserAgent) + 1) * sizeof(WCHAR) // 字符串长度
);

参数说明 ： - hInternet ：会话句柄。 - INTERNET_OPTION_USER_AGENT ：设置选项。 - lpszUserAgent ：要设置的用户代理字符串。 - (lstrlen(lpszUserAgent) + 1) * sizeof(WCHAR) ：字符串总字节大小。

逻辑分析 ： - 用户代理字符串可以被服务器用于识别发送请求的应用程序类型。 - 此例中，我们设置了一个自定义的用户代理字符串"CustomUserAgent/1.0"，这将用于之后通过此会话句柄发起的所有请求中。 - 函数执行成功，返回 TRUE ，否则返回 FALSE 。

通过以上步骤，我们完成了WinINet库的初始化与基本配置，为后续的网络请求打下了基础。这些步骤是使用WinINet进行网络编程不可或缺的准备工作，确保了网络请求能够正确、高效地执行。

3. HTTP GET请求实现

3.1 HTTP协议与GET请求

3.1.1 HTTP协议的基本原理

超文本传输协议（HTTP）是用于分布式、协作式和超媒体信息系统的应用层协议。它是互联网上应用最为广泛的一种网络协议，是万维网的基础。HTTP协议建立在TCP/IP协议之上，是一个客户端和服务器端请求和应答的标准，用于从网站服务器传输超文本到本地浏览器。

HTTP协议是无状态的，这意味着同一个客户端发出的两个请求之间没有任何关联。为了克服无状态的限制，引入了Cookie和Session机制来维护状态。HTTP遵循请求/响应模型，客户端发送一个请求报文到服务器，服务器以一个状态行、响应报文作为响应。

一个HTTP请求由三部分组成：请求行、请求头和请求数据。请求行包含请求方法、请求的URL以及HTTP版本。请求头包含关于请求的各种附加信息，如客户端接受的数据类型、支持的语言等。请求数据则包含实际发送的数据内容。

3.1.2 GET请求的特点与应用场景

GET请求是HTTP协议中的一种请求方法，它用于向特定的资源发出请求。GET请求通常用于获取数据，如从服务器上检索一个HTML页面、一个图片或一个文本文件。GET请求具有幂等性，即对同一资源发出多次GET请求，得到的结果应该一致。

GET请求的特点包括：

请求的参数附加在URL的后面，以"?"开头，参数之间用"&"分隔。
受URL长度的限制，不适合传输大量的数据。
因为是幂等的，因此常用于数据的查询操作。

应用场景举例：

获取网页上的文章内容。
查询在线数据库中记录的信息。
从服务器下载静态资源。

3.2 利用WinINet实现GET请求

3.2.1 创建请求URL

创建GET请求的URL是关键的第一步。URL应包含协议标识符（如http或https）、服务器地址、资源路径以及必要的查询参数。当使用WinINet库时，我们可以利用 InternetOpenUrl 函数来创建和发送GET请求。

下面是一个创建GET请求URL的示例代码：

#include <windows.h>
#include <wininet.h>
#pragma comment(lib, "wininet.lib")

int main() {
    HINTERNET hInternet = InternetOpen(L"WinINet GET Request", INTERNET_OPEN_TYPE_DIRECT, NULL, NULL, 0);
    if (hInternet == NULL) {
        // Handle error
    }

    // The URL for the GET request
    LPCWSTR url = L"***";
    HINTERNET hConnect = InternetOpenUrl(hInternet, url, NULL, 0, INTERNET_FLAG_RELOAD, 0);
    if (hConnect == NULL) {
        // Handle error
    }

    // Send GET request and receive response
    // ...

    InternetCloseHandle(hConnect);
    InternetCloseHandle(hInternet);
    return 0;
}

3.2.2 发送GET请求与接收响应

发送GET请求并接收响应涉及将请求发送到服务器并读取服务器返回的数据。使用WinINet库，我们可以调用 InternetReadFile 函数来读取响应数据。

以下是发送GET请求并接收响应的示例代码：

// Send GET request and receive response
char buffer[4096];
DWORD bytesRead;
BOOL bResult = TRUE;
do {
    bResult = InternetReadFile(hConnect, buffer, sizeof(buffer), &bytesRead);
    if (bResult && bytesRead > 0) {
        // Process the data received from server
        // buffer contains bytesRead bytes of data
    } else if (!bResult) {
        // Handle error
    }
} while (bResult && bytesRead > 0);

// ...

InternetCloseHandle(hConnect);
InternetCloseHandle(hInternet);
return 0;

在上述代码中，我们循环调用 InternetReadFile 函数，直到读取完毕。注意，错误处理是必不可少的，应当在实际应用中添加适当的错误处理逻辑。如果请求发送和响应接收成功，我们就可以处理从服务器返回的数据了。

3.2.3 响应数据的处理

处理响应数据涉及到对从服务器接收到的数据进行解析和利用。通常，这些数据是HTML、JSON或其他格式的内容。在VC++中，可以使用字符串处理函数或第三方库（如TinyXML、JSON for Modern C++）来解析这些数据。

假设响应是HTML页面，可以使用正则表达式来匹配和提取特定的页面元素。下面是一个使用正则表达式的例子：

#include <regex>

// ...

std::wstring htmlContent = L"<html>..."; // Assuming this is the received response data
std::wregex r(L"pattern"); // Replace 'pattern' with an actual regex to match your data
std::wsmatch match;
std::wstring matchResult;
if (std::regex_search(htmlContent, match, r)) {
    matchResult = match.str(0);
    // matchResult now contains the matched string from the HTML content
}

// ...

InternetCloseHandle(hConnect);
InternetCloseHandle(hInternet);
return 0;

在处理数据时，要考虑到字符编码的问题。如果服务器返回的数据编码与本地系统不一致，可能需要对字符串进行相应的转换。

通过上述步骤，我们可以使用VC++和WinINet库来实现HTTP GET请求，并处理服务器的响应数据。这种方式虽然较为基础，但它为网络编程提供了坚实的基础，可以根据需要进行扩展和优化。

4. WinINet关键函数使用详解

WinINet API为开发者提供了丰富的函数接口，用于处理HTTP、FTP和Gopher协议的网络请求。这一章节将深入探讨四个关键函数：InternetOpen、InternetConnect、HttpOpenRequest和HttpSendRequest，讲解它们的功能、参数以及应用场景。

4.1 InternetOpen函数使用

4.1.1 函数功能与参数解析

InternetOpen 是用于初始化WinINet会话的函数，它负责建立与Internet资源的连接。它是后续其他网络操作的前提。该函数定义如下：

HINTERNET InternetOpen(
  LPCSTR  lpszAgent,
  DWORD   dwAccessType,
  LPCSTR  lpszProxyName,
  LPCSTR  lpszProxyBypass,
  DWORD   dwFlags
);

lpszAgent ：标识用户代理的字符串，通常是应用程序的名称和版本。
dwAccessType ：指定应用程序访问类型，可以是 INTERNET_OPEN_TYPE_DIRECT （直接连接到Internet）， INTERNET_OPEN_TYPE_PROXY （通过代理服务器连接）等。
lpszProxyName ：指定代理服务器名称。
lpszProxyBypass ：指定不需要通过代理访问的服务器地址列表。
dwFlags ：是一个标志组合，用于控制函数的行为。

4.1.2 示例代码与应用场景

下面是一个使用 InternetOpen 函数的简单示例，用于初始化WinINet会话，并直接连接到Internet。

#include <windows.h>
#include <wininet.h>

#pragma comment(lib, "wininet.lib")

int main() {
    HINTERNET hInternet = InternetOpen(
        "MyApp/1.0",                   // User Agent
        INTERNET_OPEN_TYPE_DIRECT,     // Direct access
        NULL,                          // No proxy server
        NULL,                          // No bypass list
        0                              // No flags
    );

    if (hInternet == NULL) {
        // 错误处理逻辑
    }

    // 使用hInternet进行其他网络操作...
    InternetCloseHandle(hInternet);   // 关闭句柄
    return 0;
}

此代码段初始化了一个WinINet会话，并建立了直接连接到Internet的通道。 InternetOpen 返回一个会话句柄，该句柄随后用于创建连接、打开请求以及发送和接收数据。

4.2 InternetConnect函数使用

4.2.1 连接服务器的步骤与参数

InternetConnect 函数用于连接到服务器。它使用由 InternetOpen 创建的会话句柄，返回一个可以用于后续操作的连接句柄。

HINTERNET InternetConnect(
  HINTERNET hInternet,
  LPCSTR    lpszServerName,
  INTERNET_PORT nServerPort,
  LPCSTR    lpszUsername,
  LPCSTR    lpszPassword,
  DWORD     dwService,
  DWORD     dwContext,
  LPVOID    lpvBuffer
);

hInternet ：由 InternetOpen 返回的会话句柄。
lpszServerName ：要连接的服务器名称。
nServerPort ：服务器上的端口号。
lpszUsername ：登录名，用于身份验证。
lpszPassword ：密码，用于身份验证。
dwService ：指定要连接的服务类型，比如 INTERNET_SERVICE_HTTP 。
dwContext ：一个应用程序定义的值，标识这个连接。
lpvBuffer ：指向结构体，包含额外的连接信息。

4.2.2 示例代码与应用场景

下面示例展示如何使用 InternetConnect 连接到HTTP服务器。

HINTERNET hConnect = InternetConnect(
    hInternet,                         // 会话句柄
    "***",                 // 服务器名称
    INTERNET_DEFAULT_HTTP_PORT,        // HTTP端口
    NULL,                              // 无需用户名
    NULL,                              // 无需密码
    INTERNET_SERVICE_HTTP,             // 服务类型为HTTP
    0,                                 // 应用程序定义的上下文标识
    NULL                               // 无需额外信息
);

if (hConnect == NULL) {
    // 错误处理逻辑
}

该代码通过指定的会话句柄 hInternet 创建与服务器 *** 的连接。此连接句柄之后被用于打开一个HTTP请求。

4.3 HttpOpenRequest函数使用

4.3.1 请求头的构造与发送

HttpOpenRequest 函数负责构造一个HTTP请求。它通过连接句柄发送请求给服务器，并允许设置请求头等信息。

HINTERNET HttpOpenRequest(
  HINTERNET hConnect,
  LPCSTR    lpszVerb,
  LPCSTR    lpszObjectName,
  LPCSTR    lpszVersion,
  LPSTR     lpszReferer,
  LPSTR     *lplpszAcceptTypes,
  DWORD     dwFlags,
  LPVOID    lpvContext
);

hConnect ：由 InternetConnect 返回的连接句柄。
lpszVerb ：HTTP请求方法，如"GET"或"POST"。
lpszObjectName ：请求的资源路径。
lpszVersion ：HTTP协议的版本，如"HTTP/1.1"。
lpszReferer ：一个指针，指向标识请求来源的字符串。
lplpszAcceptTypes ：一个指针，指向一个以null结尾的字符串数组，每个字符串是一个MIME类型，标识服务器可以返回的内容类型。
dwFlags ：指示如何处理发送和接收的数据的标志。
lpvContext ：指定一个应用程序定义的值，标识请求。

4.3.2 示例代码与应用场景

接下来是使用 HttpOpenRequest 发起一个GET请求的示例。

HINTERNET hRequest = HttpOpenRequest(
    hConnect,                   // 连接句柄
    "GET",                      // HTTP方法
    "/",                        // 请求的资源路径
    "HTTP/1.1",                 // HTTP协议版本
    NULL,                       // 无Referer
    NULL,                       // 无Accept类型
    INTERNET_FLAG_NO_COOKIES | INTERNET_FLAG_NO_AUTH, // 无cookies和验证
    NULL                        // 无上下文标识
);

if (hRequest == NULL) {
    // 错误处理逻辑
}

此代码创建了一个GET请求，用于获取服务器根目录下的资源。请求句柄 hRequest 后续用于发送请求并接收响应。

4.4 HttpSendRequest函数使用

4.4.1 发送请求的具体操作

最后， HttpSendRequest 函数用于发送一个已经打开的HTTP请求，并接收服务器的响应。

BOOL HttpSendRequest(
  HINTERNET hRequest,
  LPCSTR    lpszHeaders,
  DWORD     dwHeadersLength,
  LPVOID    lpOptional,
  DWORD     dwOptionalLength
);

hRequest ：由 HttpOpenRequest 返回的请求句柄。
lpszHeaders ：请求头的字符串。
dwHeadersLength ：请求头的长度。
lpOptional ：指向额外请求数据的指针。
dwOptionalLength ：额外请求数据的长度。

4.4.2 示例代码与应用场景

下面是一个使用 HttpSendRequest 发送请求并接收响应的示例。

BOOL bSuccess = HttpSendRequest(
    hRequest,                    // 请求句柄
    NULL,                        // 无额外请求头
    0,                           // 请求头长度为0
    NULL,                        // 无额外请求数据
    0                            // 额外请求数据长度为0
);

if (!bSuccess) {
    // 错误处理逻辑
}

// 接收响应数据...

一旦成功调用 HttpSendRequest ，该函数会返回TRUE，如果请求发送成功。之后开发者可以通过 InternetReadFile 或相关的函数读取响应内容。

在此我们完成了对WinINet关键函数的使用详解，为后续章节的深入应用打下了坚实的基础。

5. 响应内容的读取与处理

5.1 响应内容的读取方法

5.1.1 利用WinINet读取数据流

在执行HTTP GET请求后，客户端会收到服务器的响应。WinINet库允许我们通过一个方便的数据流接口来读取这些响应内容。数据流的读取通常涉及到以下几个步骤：

初始化WinINet会话 ：首先必须初始化一个会话句柄，用于后续的所有网络操作。
打开请求URL ：通过调用 InternetOpenUrl 函数打开HTTP请求，并获取到响应的句柄。
读取数据流 ：使用 InternetReadFile 函数，从响应句柄中读取数据流。

下面是一个示例代码块，演示了如何使用WinINet库读取响应内容：

HINTERNET hInternet, hFile;
char buffer[1024];
DWORD bytesRead;

// 初始化会话
hInternet = InternetOpen(L"MyAgent", INTERNET_OPEN_TYPE_DIRECT, NULL, NULL, 0);
// 打开请求URL
hFile = InternetOpenUrl(hInternet, L"***", NULL, 0, INTERNET_FLAG_RELOAD, 0);

// 循环读取数据
do {
    // 从数据流中读取数据到buffer
    if(InternetReadFile(hFile, buffer, sizeof(buffer), &bytesRead)) {
        if(bytesRead > 0) {
            // 在这里处理读取到的数据，buffer中包含了数据内容
            // 输出或者保存buffer中的数据
        }
    }
} while (bytesRead > 0);

// 关闭句柄
InternetCloseHandle(hFile);
InternetCloseHandle(hInternet);

5.1.2 字符串的解析与处理

在获取到响应内容后，根据实际需要解析字符串数据。例如，你可能需要将HTML源码作为字符串处理，提取特定信息。在处理字符串时，可以使用如下步骤：

数据缓冲区的管理 ：确保在读取响应时，缓冲区足够大以存储从服务器接收到的所有数据。
字符串编码转换 ：如果响应内容不是以UTF-8或其他你期望的编码方式返回的，你可能需要进行编码转换。
内容解析 ：可以使用正则表达式或者HTML解析库来提取特定信息。

示例代码及参数说明：

// 假设已经从服务器成功读取数据到buffer
std::string source = std::string(buffer);
std::string::iterator start = std::search(source.begin(), source.end(), std::boyer_moore_searcher(std::string("target_data")));
if (start != source.end()) {
    // 找到了特定数据，现在可以处理这些数据了
}

在这个例子中， std::boyer_moore_searcher 是一个高效的字符串查找函数，用于在 source 中查找特定的内容 "target_data" 。

5.2 响应内容的解析实践

5.2.1 常见网页编码的处理

处理响应内容时，常见的挑战之一是网页编码的多样性。例如，一个网页可能会使用UTF-8，另一个可能使用GB2312或GBK等中文编码。在解析之前，正确处理编码是至关重要的。

检查响应头的字符集 ：通常在HTTP响应头中会指明字符编码，例如 Content-Type: text/html; charset=UTF-8 。
编码转换 ：可以使用Windows API如 MultiByteToWideChar 来实现从一种字符集到另一种的转换。

5.2.2 HTML页面元素的提取技巧

解析HTML内容时，能够提取特定页面元素对于数据获取和处理至关重要。可以使用以下方法：

使用DOM解析器 ：借助第三方库，例如 Gumbo-parser ，可以解析HTML并构建DOM树。
使用XPath查询 ：一旦有了DOM树，可以使用XPath来查询你感兴趣的元素。
使用正则表达式 ：对于简单的模式匹配，正则表达式仍然是一个快速有效的选择。

示例代码：

// 使用正则表达式查找所有链接
std::regex href_regex(R"((href|src)="([^"]*)")");
std::smatch matches;
std::string::const_iterator searchStart(source.cbegin());
while (std::regex_search(searchStart, source.cend(), matches, href_regex)) {
    // matches[2] 是链接，可以进一步处理
    searchStart = matches.suffix().first;
}

// 使用第三方库进行XPath查询
// 假设已经使用某种方式得到了DOM树dom
std::string xpath_expression = "//a[@href]";
std::vector<std::string> links = execute_xpath_expression(dom, xpath_expression);

在这个示例中， execute_xpath_expression 函数将执行提供的XPath表达式，并返回所有匹配的链接列表。这样的函数需要自行实现或使用第三方库提供的功能。

为了帮助理解这些概念，下面是一个使用 Gumbo-parser 解析HTML和XPath来提取所有段落标签的简单流程图。

graph TD;
    A[开始解析] --> B{是否需要DOM解析};
    B -- 是 --> C[使用Gumbo-parser创建DOM];
    B -- 否 --> D[其他解析方法];
    C --> E[使用XPath查询段落];
    E --> F[提取并处理段落内容];
    F --> G[结束解析];

通过上述方法，无论是编码问题还是HTML内容解析，都可以得到妥善的处理，从而提取出有用的信息。在实践中，你可能会结合使用多种方法来应对复杂的情况。

6. 网络编程中的错误处理与资源管理

6.1 错误处理机制

网络编程过程中不可避免会遇到各种错误，如网络连接失败、服务器无响应、数据传输错误等。一个健壮的网络应用需要有完整的错误处理机制来确保异常情况下的稳定运行和数据的完整性。

6.1.1 错误码的获取与解析

在VC++和WinINet库中，错误码通常以 DWORD 类型返回，并且每个错误码都对应一个具体的错误信息。获取错误码通常是在网络操作失败后，通过调用相应的错误获取函数，如 GetLastError() 。

DWORD dwErrorCode = GetLastError();
LPVOID lpMsgBuf;
FormatMessage(
    FORMAT_MESSAGE_ALLOCATE_BUFFER | 
    FORMAT_MESSAGE_FROM_SYSTEM |
    FORMAT_MESSAGE_IGNORE_INSERTS,
    NULL,
    dwErrorCode,
    MAKELANGID(LANG_NEUTRAL, SUBLANG_DEFAULT),
    (LPTSTR) &lpMsgBuf,
    0, NULL );

以上代码中， GetLastError() 用于获取最近一次API调用中发生的错误代码，然后通过 FormatMessage() 函数将错误代码转换为可读的字符串形式。错误信息将被存储在 lpMsgBuf 中，并可以输出到控制台或日志文件中，以供调试使用。

6.1.2 常见网络错误的处理策略

处理网络错误时，重要的是区分错误类型，并采取相应的应对措施。例如，如果是网络断开导致的错误，应用可能需要尝试重新连接或通知用户。如果是数据包丢失，应用可能需要请求重发数据包。

if (dwErrorCode == ERROR_INTERNET_TIMEOUT) {
    // 处理连接超时的策略
    // 例如，可以尝试重新连接
} else if (dwErrorCode == ERROR_INTERNET_NAME_NOT_RESOLVED) {
    // 处理无法解析服务器名的错误
    // 可能需要检查服务器地址设置是否正确
}

在实际应用中，可以创建一个错误处理函数或类，将所有错误码和对应策略集中管理，这样可以方便维护和扩展。

6.2 连接关闭与资源管理

资源管理在编程中极为重要，良好的资源管理不仅能够避免内存泄漏，还可以提升应用性能。在网络编程中，应当确保所有的网络连接在不再使用时能够正确关闭，并释放相关资源。

6.2.1 安全关闭连接的方法

关闭WinINet会话通常涉及到调用 InternetCloseHandle() 函数。这个函数会关闭一个由 InternetOpen() 或 InternetConnect() 函数创建的句柄，并且会正确地关闭底层的网络连接。

HINTERNET hSession; // 假设该句柄已经有效创建
if (hSession) {
    InternetCloseHandle(hSession);
    hSession = NULL;
}

如果是在多线程环境下，还需要确保关闭操作是线程安全的。调用 InternetCloseHandle() 之后，相关资源会被释放，网络连接将不可再用。

6.2.2 资源的清理与内存管理

资源的清理不仅是关闭网络连接，还应该包括释放内存和其他非托管资源。在C++中，可以通过析构函数自动管理资源，但需要手动释放非托管资源，如通过 GlobalFree() 释放由 GlobalAlloc() 分配的内存。

HINTERNET hConnect = InternetConnect(...);
if (hConnect) {
    // 使用hConnect进行网络操作
}
// 不需要继续使用hConnect时，释放该资源
InternetCloseHandle(hConnect);

char *pBuffer = (char*)GlobalAlloc(GPTR, 1024);
if (pBuffer) {
    // 使用内存缓冲区
}
// 使用完毕后释放内存
GlobalFree(pBuffer);

在现代C++编程中，推荐使用智能指针如 std::unique_ptr 或 std::shared_ptr 来自动管理内存，避免内存泄漏。对于WinINet库来说，其内部已经封装了一些内存管理机制，如在关闭句柄时会自动释放大部分资源，但仍需开发者注意程序中分配的其他资源。

在处理网络编程的错误处理和资源管理时，遵循良好的编程实践和设计模式将使得整个应用更加稳定和健壮。通过合理规划错误处理逻辑和资源释放策略，可以大大提高程序的可用性和维护性。

7. 实际代码示例与应用

7.1 VC++获取网页源代码实战演练

在上一章节中，我们已经学习了如何使用WinINet库实现HTTP GET请求，以及如何处理服务器响应。现在我们将这些理论知识转化为实际操作，编写一个VC++程序，用于获取指定URL的网页源代码。

7.1.1 编写完整的代码示例

首先，我们将编写一个使用WinINet库的完整代码示例来实现获取网页源代码的功能。

#include <windows.h>
#include <wininet.h>
#include <iostream>

#pragma comment(lib, "wininet.lib")

int main() {
    // 初始化WinINet会话
    HINTERNET hInternet = InternetOpen(
        L"WinINet Example",    // 用户代理字符串
        INTERNET_OPEN_TYPE_PRECONFIG,
        NULL,                  // 缓冲区指针
        NULL,                  // 缓冲区大小
        0);                   // 标志

    if (hInternet == NULL) {
        std::cerr << "InternetOpen failed with error: " << GetLastError() << std::endl;
        return 1;
    }

    // 创建请求URL
    LPCWSTR url = L"***";
    HINTERNET hConnect = InternetConnect(
        hInternet,             // 上下文句柄
        L"***",        // 服务器名
        INTERNET_DEFAULT_HTTP_PORT, // 服务端口号
        NULL,                  // 用户名
        NULL,                  // 密码
        INTERNET_SERVICE_HTTP, // 服务类型
        0,                     // 标志
        0);                    // 上下文句柄

    if (hConnect == NULL) {
        std::cerr << "InternetConnect failed with error: " << GetLastError() << std::endl;
        InternetCloseHandle(hInternet);
        return 1;
    }

    // 发送GET请求并接收响应
    HINTERNET hRequest = HttpOpenRequest(
        hConnect,              // 连接句柄
        L"GET",                // 方法类型
        L"/",                  // 对象路径
        NULL,                  // HTTP版本
        NULL,                  // 引用
        NULL,                  // 请求头字段
        INTERNET_FLAG_RELOAD,  // 标志
        0);                    // 上下文句柄

    if (hRequest == NULL) {
        std::cerr << "HttpOpenRequest failed with error: " << GetLastError() << std::endl;
        InternetCloseHandle(hConnect);
        InternetCloseHandle(hInternet);
        return 1;
    }

    if (!HttpSendRequest(hRequest, NULL, 0, NULL, 0)) {
        std::cerr << "HttpSendRequest failed with error: " << GetLastError() << std::endl;
        InternetCloseHandle(hRequest);
        InternetCloseHandle(hConnect);
        InternetCloseHandle(hInternet);
        return 1;
    }

    // 读取响应内容
    DWORD bytesRead, totalBytes;
    char buffer[4096];
    BOOL result = ReadFile(HttpQueryInfo(hRequest, 
                                         HTTP_QUERY_STATUS_CODE | 
                                         HTTP_QUERY_FLAG_NUMBER, 
                                         buffer, 
                                         &bytesRead, 
                                         NULL) ? hRequest : NULL, 
                       buffer, 
                       sizeof(buffer), 
                       &totalBytes, 
                       NULL);

    std::cout << "Status: " << buffer << std::endl;
    std::cout << "Page content: " << std::endl;

    while (result) {
        std::cout.write(buffer, totalBytes);
        result = ReadFile(hRequest, buffer, sizeof(buffer), &bytesRead, NULL);
        std::cout.write(buffer, bytesRead);
    }

    // 清理资源
    InternetCloseHandle(hRequest);
    InternetCloseHandle(hConnect);
    InternetCloseHandle(hInternet);
    return 0;
}

7.1.2 功能测试与验证

在编写完成上述代码后，我们需要进行编译和运行以测试功能。在测试之前，请确保您的开发环境已正确安装并配置了VC++以及所需的WinINet库。

编译代码并运行程序，如果一切正常，程序将输出目标URL的HTTP状态码以及网页的源代码。注意检查编译器的错误提示和运行时的错误信息，这些可以帮助我们快速定位问题所在。

7.2 应用拓展与优化建议

7.2.1 网络编程的性能优化

获取网页源代码是网络编程的基础应用之一。性能优化是提升程序效率的关键步骤。这里给出一些基本的优化建议：

异步IO操作：避免阻塞程序，提升用户界面的响应速度。
连接复用：使用持久连接可以减少建立新连接的开销。
内存管理：合理分配和释放内存，避免内存泄漏。
错误处理：合理处理网络错误，提供重试机制。

7.2.2 将技术应用于实际项目

通过上述学习和实践，我们已经掌握了如何使用WinINet库在VC++中实现网络编程的基础操作。将这些技术应用于实际的项目中，可以帮助我们实现更多的网络功能，例如：

网页数据采集：定时抓取网页内容并进行分析。
自动化测试：模拟用户操作，对Web应用进行自动化测试。
API接口开发：提供HTTP接口供其他系统或服务调用。

在实际项目中应用时，我们还需要考虑到实际应用的安全性、稳定性和可扩展性等因素。这可能涉及到使用HTTPS协议、提供验证机制、以及构建高效的网络架构等方面。

本文还有配套的精品资源，点击获取

陳寶平

关注

18
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
VC++网络编程实战：获取网页源代码

本文还有配套的精品资源，点击获取简介：在软件开发中，使用VC++获取网页源代码是一项基础但重要的任务，特别是在需要与网络交互的Windows平台应用程序开发中。通过WinINet库和HTTP协议，开发者可以构建C++程序以发送HTTP GET请求，接收响应并读取网页内容。关键步骤包括初始化网络会话、建立连接、发送请求、处理响应以及资源的释放和错误处理。本指南将详细介绍这些...
复制链接

扫一扫