开发MFC界面爬取图片工具一（原理简介及使用OpenSSL连接https网站）

最新推荐文章于 2024-02-27 11:35:44 发布
最新推荐文章于 2024-02-27 11:35:44 发布
阅读量682 收藏 6
点赞数 1
分类专栏： MFC界面应用 文章标签： c++ mfc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44870829/article/details/107744349
版权

OpenSSL连接https网站并获取HTML页面

引言

最近需要用到大量图片，但直接从网站下载太慢，便想到之前接触过的爬虫，目前关于使用python做爬虫的文章有很多，但关于使用c++来做爬虫的却很少，由于自己对c++及mfc比较熟悉，就想做一个简单界面应用程序，用于批量下载网络图片。虽然使用控制台程序也可以实现功能，但又想着方便使用，便决定做一个爬取图片工具。
接下来几个章节准备记录一下做此工具过程中所遇到的一些问题，并将解决方法记录下来。

网络爬虫原理简介

  1. 首先有一个起始地址url（也就是要爬取的网站地址）
  2. 做一个url队列（当想要爬取多个网网址上的图片时，这个url队列中用来存放要爬取的多个网址，可以理解为多个不同的HTML页面）
  3. 将起始url放到url队列中（当队列中只有一个网址时爬取的就是这一个网址）
  4. 从队列中取出一条url，解析此url（http协议或https协议），进行分段解析（将主机域名，资源分离），有了主机域名就可以连接服务器
  5. 连接服务器（http协议的和https协议的连接服务器方式有所不同，此处使用socket连接http，而https协议则借助OpenSSL来连接）
  6. 连接服务器成功后下载网页（就是下载html代码）
  7. 解析HTML网页（html中有很多重要信息，我们解析自己觉得有用的信息，如想获取图片，此处要解析HTML得到的就是各种图片的网络链接地址）
  8. 通过我们通过解析HTML页面获取的图片链接地址下载图片（这里会使用URLDownloadToFile函数进行图片的下载操作）
  9. 当前HTML页面中的一些图片链接下载完成后，我们要还想获取其他HTML网页中的图片，就要在队列中添加新的网址，重新回到开始进行上面重复的操作。
    10.下面是有关爬虫的简单示意图，图片来源于网络
    在这里插入图片描述

配置VS的项目属性（引入OpenSSL库）

  1. OpenSSL下载地址：https://oomake.com/download/openssl

  2. 到上面的链接下载OpenSSL Windows版本，注意32位和64位是不同的安装包，我虽然是64位的系统但还是下载的32位，可以使用

  3. 下载之后是exe文件，双击按照提示一步步安装就可以了。此处我将其安装到了d盘

  4. 打开VS将项目属性列表打开，进行如下的操作

  5. 将包含目录（include），及库目录（注意此处是lib文件下的vc文件）导入
    在这里插入图片描述

  6. 将4个lib文件导入如下：
    libcrypto32MDd.lib
    libcrypto32MTd.lib
    libssl32MDd.lib
    libssl32MTd.lib
    在这里插入图片描述

  7. 这里使用的Unicode字符集
    在这里插入图片描述

  8. 此处是为了防止后面代码中可能出现的安全报错设置（当出现某个函数如strcopy不安全的报错时，若换成strcopy_s参数会有问题，从网上搜索后直接将此种警报消除），在预处理器中添加_CRT_SECURE_NO_WARNINGS，如下：
    在这里插入图片描述

使用OpenSSL连接https网站

此处主要参考链接https://www.cnblogs.com/yskn/p/9552981.html
通过对上方网址的研究，我对其进行了详细分析，进行了进一步的封装，最终封装成为两个可以获取指定url的html界面的类，连接服务器获取HTML功能完全能实现，http和https的都可以。具体代码如下。

  1. CHttp.h文件：
#pragma once
#include <iostream>
#include <Windows.h>		//#include<WinSock2.h>在windows里边
#include <string>
#include <queue>
#include <regex>
#include <urlmon.h>
#include <openssl/rand.h>
#include <openssl/ssl.h>
#include <openssl/err.h>

#pragma comment(lib, "urlmon.lib")

#pragma comment(lib, "WS2_32")  // 链接到WS2_32.lib
using namespace std;

class CHttp
{
public:
	char g_Host[MAX_PATH];				//获取主机路径
	char g_Object[MAX_PATH];			//获取资源路径

	SOCKET g_sock;
	SSL *sslHandle;
	SSL_CTX *sslContext;
	BIO * bio;

	int numImagesR;			//定义一个下载的总数量，所有网页中的图片相加的数量
	string cururl;			//用来暂存p队列中的链接

	//下方的两个解析模块和下载模块无需改变，主要是根据自己需求改变开始抓取模块和匹配模块
	//解析URL（https）
	bool Analyse(string url);
	//连接https服务器
	bool Connect();
	//建立SSl连接（https）
	bool SSL_Connect();
	//得到html（https）
	bool Gethtml(string url, string& html);
	//将解析https的url，连接服务器，建立SSL连接得到html封装在一起得到（解析https连接得到html)
	bool GetHtmlHttps(string url, string& html);

	//解析URL（http）
	bool Analyse2(string url);
	//连接http服务器
	bool Connect2();
	//得到html(http)
	bool Gethtml2(string url, string& html);
	//将解析http的url，连接服务器，得到html封装在一起得到（解析http连接得到html）
	bool GetHtmlHttp(string url, string& html);

	//UTF转GBK（有些时候显示页面时需要使用GBK编码的，但此处使用UTF-8的,并未用到此函数）
	std::string UtfToGbk(const char* utf8);

};
  1. CHttp.cpp文件

#include "CHttp.h"


//解析url（https）
bool CHttp::Analyse(string url)
{
	char *pUrl = new char[url.length() + 1];
	strcpy(pUrl, url.c_str());

	char *pos = strstr(pUrl, "https://");//找到https://开头的字符串
	if (pos == NULL) return false;
	else pos += 8;//将https://开头省略

	sscanf(pos, "%[^/]%s", g_Host, g_Object);
	//cout << "g_Host:" << g_Host << ",g_Object:" << g_Object << endl;	//用来测试

	delete[] pUrl;
	return true;
}

//解析url（http）
bool CHttp::Analyse2(string url){

	char *pUrl = new char[url.length() + 1];
	strcpy(pUrl, url.c_str());

	char *pos = strstr(pUrl, "http://");//找到http://开头的字符串
	if (pos == NULL) return false;
	else pos += 7;//将http://开头省略

	sscanf(pos, "%[^/]%s", g_Host, g_Object);
	//cout << "g_Host:" << g_Host << ",g_Object:" << g_Object << endl;	//用来测试

	delete[] pUrl;
	return true;
}


//建立TCP连接
bool CHttp::Connect()
{
	//初始化套接字
	WSADATA wsadata;
	if (0 != WSAStartup(MAKEWORD(2, 2), &wsadata)) return false;

	//创建套接字
	g_sock = socket(AF_INET, SOCK_STREAM, 0);//此处注意与http有所不同
	if (g_sock == INVALID_SOCKET) return false;

	//将域名转换为IP地址
	hostent *p = gethostbyname(g_Host);
	if (p == NULL) return false;

	sockaddr_in sa;		//定义服务器地址信息
	memcpy(&sa.sin_addr, p->h_addr, 4);		//将p指针中的ip地址拷贝4个字节到sa.sin_addr中
	sa.sin_family = AF_INET;		//地址符使用此
	sa.sin_port = htons(443);		//将主机字节顺序转换成网络字节顺序(此为https的端口)

	if (SOCKET_ERROR == connect(g_sock, (sockaddr*)&sa, sizeof(sockaddr))) return false;
	return true;
}

//连接http服务器
bool CHttp::Connect2(){
	//初始化套接字
	WSADATA wsadata;
	if (0 != WSAStartup(MAKEWORD(2, 2), &wsadata)) return false;

	//创建套接字
	g_sock = socket(AF_INET, SOCK_STREAM, 0);
	if (g_sock == INVALID_SOCKET) return false;

	//将域名转换为IP地址
	hostent *p = gethostbyname(g_Host);
	if (p == NULL) return false;

	sockaddr_in sa;		//定义服务器地址信息
	memcpy(&sa.sin_addr, p->h_addr, 4);		//将p指针中的ip地址拷贝4个字节到sa.sin_addr中
	sa.sin_family = AF_INET;		//地址符使用此
	sa.sin_port = htons(80);		//将主机字节顺序转换成网络字节顺序(此为http的端口)

	if (SOCKET_ERROR == connect(g_sock, (sockaddr*)&sa, sizeof(sockaddr))) return false;
	return true;
}

//建立SSl连接
bool CHttp::SSL_Connect()
{
	// Register the error strings for libcrypto & libssl

	ERR_load_BIO_strings();
	// SSl库的初始化，载入SSL的所有算法，载入所有的SSL错误信息
	SSL_library_init();
	OpenSSL_add_all_algorithms();
	//加载SSL错误信息
	SSL_load_error_strings();

	// New context saying we are a client, and using SSL 2 or 3
	//建立新的SSL上下文
	sslContext = SSL_CTX_new(SSLv23_client_method());
	if (sslContext == NULL)
	{
		ERR_print_errors_fp(stderr);
		return false;
	}
	// Create an SSL struct for the connection
	sslHandle = SSL_new(sslContext);
	if (sslHandle == NULL)
	{
		ERR_print_errors_fp(stderr);
		return false;
	}
	// Connect the SSL struct to our connection
	if (!SSL_set_fd(sslHandle, g_sock))
	{
		ERR_print_errors_fp(stderr);
		return false;
	}
	// Initiate SSL handshake
	if (SSL_connect(sslHandle) != 1)
	{
		ERR_print_errors_fp(stderr);
		return false;
	}

	return true;
}

//得到html(https)
bool CHttp::Gethtml(string url, string & html)
{
	char temp1[100];
	sprintf(temp1, "%d", 166);
	string c_get;
	c_get = c_get
		//+ "GET " + g_Object + " HTTP/1.1\r\n"
		+ "GET " + url + " HTTP/1.1\r\n"
		+ "Host: " + g_Host + "\r\n"
		+ "Content-Type: text/html; charset=UTF-8\r\n"
		//+ "Content-Length:" + temp1 + "\r\n"
		+ "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299\r\n"
		//+ "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko\r\n"
		+ "Connection:Close\r\n\r\n";
	//+ temp;

	SSL_write(sslHandle, c_get.c_str(), c_get.length());

	char buff[101];
	int nreal = 0;

	while ((nreal = SSL_read(sslHandle, buff, 100)) > 0)
	{
		buff[nreal] = '\0';
		//html += UtfToGbk(buff);		//此处将所得页面转换为gbk格式的
		html += buff;
		//printf("%s\n", buff);
		memset(buff, 0, sizeof(buff));
	}

	return true;
}

//得到html(http)
bool CHttp::Gethtml2(string url, string& html){
	char temp1[100];
	sprintf(temp1, "%d", 166);
	string c_get;
	c_get = c_get
		//+ "GET " + g_Object + " HTTP/1.1\r\n"
		+ "GET " + url + " HTTP/1.1\r\n"
		+ "Host: " + g_Host + "\r\n"
		+ "Content-Type: text/html; charset=UTF-8\r\n"
		//+ "Content-Length:" + temp1 + "\r\n"
		//+ "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299\r\n"
		+ "Connection:Close\r\n\r\n";
	//+ temp;

	//发送get请求,并判断是否失败
	if (SOCKET_ERROR == send(g_sock, c_get.c_str(), c_get.length(), 0)){
		cout << "发送get请求失败" << endl;
		return false;
	}

	//接收数据并保存到HTML中
	char ch = 0;
	while (recv(g_sock, &ch, 1, 0)){
		html = html + ch;				//此处未进行编码转换
	}
	//printf("%s\n", html);
	//cout << html << endl;
	return true;
}

//将解析url，连接服务器，建立SSL连接得到html封装在一起得到（解析https连接得到html)
bool CHttp::GetHtmlHttps(string url, string& html){
	//解析https的URL
	if (false == Analyse(url))
	{
		//cout << "解析URL失败，错误码：" << GetLastError() << endl;
		return false;
	}

	//连接https服务器
	if (false == Connect())
	{
		//cout << "连接服务器失败，错误代码：" << GetLastError() << endl;
		return false;
	}

	//建立ssl连接
	if (false == SSL_Connect())
	{
		//cout << "建立SSL连接失败，错误代码：" << GetLastError() << endl;
		return false;
	}

	//获取https网页
	if (false == Gethtml(url, html))
	{
		//cout << "获取网页数据失败，错误代码：" << GetLastError() << endl;
		return false;
	}
	return true;
}

//将解析http的url，连接服务器，得到html封装在一起得到（解析http连接得到html）
bool CHttp::GetHtmlHttp(string url, string& html){
	//解析http的URL
	if (false == Analyse2(url))
	{
		//cout << "解析URL失败，错误码：" << GetLastError() << endl;
		return false;
	}

	//连接http服务器
	if (false == Connect2())
	{
		//cout << "连接服务器失败，错误代码：" << GetLastError() << endl;
		return false;
	}

	//获取http网页
	if (false == Gethtml2(url, html))
	{
		//cout << "获取网页数据失败，错误代码：" << GetLastError() << endl;
		return false;
	}
	return true;
}

//UTF转GBK
string CHttp::UtfToGbk(const char* utf8)
{
	int len = MultiByteToWideChar(CP_UTF8, 0, utf8, -1, NULL, 0);
	wchar_t* wstr = new wchar_t[len + 1];
	memset(wstr, 0, len + 1);
	MultiByteToWideChar(CP_UTF8, 0, utf8, -1, wstr, len);
	len = WideCharToMultiByte(CP_ACP, 0, wstr, -1, NULL, 0, NULL, NULL);
	char* str = new char[len + 1];
	memset(str, 0, len + 1);
	WideCharToMultiByte(CP_ACP, 0, wstr, -1, str, len, NULL, NULL);
	if (wstr) delete[] wstr;
	return str;
}
  1. main.cpp文件
#include "CHttp.h"

int main(){

	string starturl = "https://www.tupianzj.com/meinv/mm/";
	//string starturl = "http://www.ivsky.com/Photo/42/42_Index.html";
	CHttp http;
	string html;
	http.GetHtmlHttps(starturl, html);
	//http.GetHtmlHttp(starturl, html);
	cout << html << endl;

	system("pause");
	return 0;
}
吾名招财
关注
专栏目录
使用OpenSSL生成/签发证书的原理、流程与示例
Laurence的技术博客
03-20 1万+
文章目录1 生成证书的步骤与原理2 标准的CA签发流程2.1 创建私钥（.key)2.2 基于私钥创建证书签名请求（.csr）2.3 （可选）直接同时生成私钥和证书签名请求2.4 将证书申请请求（.csr）提交给CA认证机构申请证书（.crt）2.5 CA机构生成CA证书链3 生成自签名证书3.1 创建私钥（.key）3.2 基于私钥（.key）创建证书签名请求（.csr）3.3 （可选）直接同时生成私钥（.key）和证书签名请求（.csr）3.4 使用自己的私钥（.key）签署自己的证书签名请求（.csr
使用OpenSSL自建一个HTTPS服务
Assassin
12-13 1759
1. 理论知识 1.1 什么是https 传统的 HTTP 协议以明文方式进行通信，不提供任何方式的数据加密，很容易被中间攻击者破解通信内容或者伪装成服务器与客户端通信，在安全性上存在很大问题。 HTTPS 协议是由 HTTP 加上 TLS/SSL 协议构建的可进行加密传输、身份认证的网络协议，主要通过数字证书、加密算法、非对称密钥等技术完成互联网数据传输加密，实现互联网传输安全保护。 关于非对称加密以及公钥私钥相关知识不在赘述，可自行了解。 PS: TLS 是传输层加密协议，前身是由网景公司1995年发
MFC读取网页上的一幅图片，并显示在界面上
12-17
MFC读取网页上的一幅图片，并显示在界面上 MFC读取网页上的一幅图片，并显示在界面上
【MFC】openssl参考程序
12-02
简单的openssl参考程序，需要安装 openssl 工具包并编译成dll,测试时把include 路径和 依赖路径设置后，记得把 ssleay32.dll 和 libeay32.dll 拷贝到 exe 的目录下。
openssl 链接服务器
春来江水绿如蓝
04-27 740
openssl s_client -connect 127.0.0.1:443
使用MFC的WinInet下载网页图片存于本地
ccjjyy的专栏
12-25 2881
新建一个基于对话框的工程，然后给确定按钮添加如下处理事件！【引入头文件afxinet.h】void CTestDlg::OnOK() {const int dwBufSize = 1024;CInternetSession   *   Session   =   new   CInternetSession; CHttpFile*                 pHttpFile   =   NULL;   CStdioFile                 pLocalFile;          
VS2022 MFC项目配置OpenSSL LNK1104!
最新发布
weixin_57178497的博客
02-27 571
MFC项目包含目录、库目录和附加依赖项均已添加，生成时错误报LNK1104。无法打开libssl.lib和libcrypto.lib。
C++ socket访问HTTP，OpenSSL访问HTTPS
03-27
本代码使用MFC方式实现了如下功能： 1> 原生socket POST访问HTTP站点。可成功登陆某站点； 2> 集成OpenSSL POST访问HTTPS站点。可成功登陆小米官网。 文件包内含有完整的，编译好的OpenSSL开发需要的头文件以及库...
OpenSSL工具
08-23
总之，OpenSSL是一个不可或缺的工具，对于理解和实践网络安全、数据加密以及服务器配置等方面的知识至关重要。通过熟练掌握OpenSSL的使用，可以提升在IT领域的专业技能，确保网络通信的安全性。
记一次使用Openssl生成p12证书搭建https证书
weixin_41767181的博客
11-25 4284
记一次使用Openssl生成p12证书 1、基本原理 OpenSSL初接触的人恐怕最难的在于先理解各种概念 公钥/私钥/签名/验证签名/加密/解密/非对称加密 我们一般的加密是用一个密码加密文件,然后解密也用同样的密码.这很好理解,这个是对称加密.而有些加密时,加密用的一个密码,而解密用另外一组密码,这个叫非对称加密,意思就是加密解密的密码不一样.初次接触的人恐怕无论如何都理解不了.其实这是数学上的一个素数积求因子的原理的应用,如果你一定要搞懂,百度有大把大把的资料可以看,其结果就是用这一组密钥中的一个来加
抓取URL路径的图片显示 MFC
11-09
抓取网络上提供的URL途径，在对话框里展示图片 并显示 有利于网络编程的掌握
VC6的MFC的爬虫
05-25
没什么好说的 MFC的一个Vc6爬虫Crawler Crawler Crawler
MFC截取窗体图片并保存BMP
04-21
VS2010开发环境，具体代码详见程序，关于BMP位图格式可以搜集一下网上资料进行了解
MFC 实现 爬虫 Crawler 代码
11-27
一个用MFC实现的爬虫。用的是VS2008编译环境。
VC++利用MFC抓取URL路径显示图片
03-15
摘要:VC/C++源码,网络相关,MFC,抓取图片　　Capture_MFC——抓取URL路径的图片显示的MFC源码，也就是直接显示远程的图片，和显示本地的图片有些不同，具体的实现步骤请参阅源码吧。
C/C++、MFC——陈年老项目之简易网络爬虫
Eyizoha的博客
04-29 906
程序功能 实现一个简单的网络爬虫：输入一个网址，遍历下载该页面和其子页面，包括html文件、图片。程序有简单的图形界面，能够随时结束页面爬取。爬取过程中有爬取信息输出。 效果 代码 Github ps：这只是一个简陋的爬虫，仅能爬取一些简单的页面。面对结构复杂的页面和登录验证等无能为力。 相关资料 HTML教程 HTTP教程 正则表达式教程 ...
吾也爱C++_C++爬虫，MFC实现，爬取网页超链接及资源链接，使用递归爬取下一层
qq_38069903的博客
03-09 780
由于使用MFC框架，只上传按钮监听函数及爬取递归的代码，其他都是MFC自己生成的函数，注意：有的网址禁止爬虫获取(注意网站协议) void StartCrawing(CString In)//开始爬取 { if (Time<100)//至多访问100个页面(根据需要调整，无上限，曾调试过250000，无异常，只是时间长) { Time++; _cprintf("%d Websit...
openssl 实现https 网站
huang714的专栏
07-02 411
下面是一个用openssl实现获取https 网页内容的demo，整个流程比较简单，主要封装的API如下 static int https_init(https_context_t *context,const char* url); static int https_uninit(https_context_t *context); static int https_read(https_context_t *context,void* buff,int len); static int https..
OpenSSL的使用
丰空岛主(Vega Prime,Android,LabWindows,ThreeJS,Python,OpenCV）
06-07 386
SSL是Secure Sockets Layer（安全套接层协议）的缩写。OpenSSL整个软件包大概可以分成三个主要的功能部分：SSL协议库、应用程序以及密码算法库。OpenSSL的目录结构自然也是围绕这三个功能部分进行规划的。 作为一个基于密码学的安全开发包，OpenSSL提供的功能相当强大和全面，囊括了主要的密码算法、常用的密钥和证书封装管理功能以及SSL协议，并提供了丰富的应用程序供测试或其它目的使用。 首先是OpenSSL的配置 1 使用WxpRs...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吾名招财

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值