构建网络下载器：Wt库指南让您轻松获取豆瓣网的美图

已于 2024-02-28 11:48:00 修改
阅读量887 收藏 14
点赞数 20
分类专栏： 多线程 C++ 爬虫代理 文章标签： Wt库 爬虫代理 豆瓣 美图 下载器 代理IP HTTP代理
于 2024-02-28 11:36:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ip16yun/article/details/136341926
版权
爬虫代理 同时被 3 个专栏收录
220 篇文章 3 订阅
订阅专栏
多线程
41 篇文章 0 订阅
订阅专栏
C++
10 篇文章 0 订阅
订阅专栏

16YUN

一、什么是Wt库？

Wt（Web Toolkit）是一个用C编写的开源库，它可以让您使用C开发Web应用程序。Wt提供了一套丰富的组件，包括窗口、按钮、表单、图表、布局等，让您可以像使用GUI库一样，使用C++构建Web界面。

除了提供Web界面的组件，Wt还提供了一个网络模块，它可以让您使用C++进行网络编程，包括HTTP请求、响应、会话、Cookie等。这个网络模块非常适合用来开发网络爬虫，因为它可以让您方便地发送HTTP请求，获取网页的内容，解析HTML，提取所需的数据，保存到本地或数据库等。

二、为什么要使用Wt库？

Wt库有以下几个优点，使得它成为开发网络爬虫的一个好选择：

  • 跨平台，Wt库可以在Windows、Linux、MacOS等多种操作系统上运行，无需修改代码。
  • 高效，Wt库使用C++编写，性能优越，可以处理大量的网络请求和数据。
  • 易用，Wt库提供了简洁的API，让您可以使用熟悉的C++语法，快速地开发网络爬虫。
  • 灵活，Wt库支持多种网络协议，如HTTP、HTTPS、WebSocket等，可以应对不同的网络环境。
  • 安全，Wt库支持SSL加密，可以保护您的网络通信的安全。
  • 扩展，Wt库可以与其他的库或框架结合，如Boost、Qt、OpenCV等，提供更多的功能和特性。

三、如何使用Wt库？

要使用Wt库，您需要先下载并安装Wt库，然后在您的项目中引入Wt的头文件，链接Wt的库文件，就可以开始使用Wt的网络模块了。

下面，我们将以一个简单的示例来演示如何使用Wt库，构建一个网络下载器，从豆瓣网上下载美图。

1. 引入头文件

首先，我们需要引入Wt的网络模块的头文件，以及一些标准库的头文件，如下所示：

// 引入Wt的网络模块的头文件
#include <Wt/Http/Client.h>
#include <Wt/Http/Message.h>
#include <Wt/Http/Response.h>
#include <Wt/Http/Request.h>

// 引入一些标准库的头文件
#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <thread>
#include <mutex>

2. 定义常量和变量

接下来，我们需要定义一些常量和变量，用来存储我们的目标网址、爬虫代理服务器的信息、图片的保存路径等，如下所示：

// 定义目标网址，我们将从豆瓣网的美女图片专辑中下载图片
const std::string target_url = "https://www.douban.com/photos/album/1797294052/";

// 定义爬虫代理服务器的信息，我们将使用亿牛云爬虫代理标准版的域名、端口、用户名、密码
const std::string proxy_host = "http://www.16yun.cn";
const int proxy_port = 9010;
const std::string proxy_user = "16YUN";
const std::string proxy_pass = "16IP";

// 定义图片的保存路径，我们将把图片保存到当前目录下的images文件夹中
const std::string image_path = "./images/";

// 定义一个向量，用来存储图片的网址
std::vector<std::string> image_urls;

// 定义一个互斥锁，用来保证多线程的安全
std::mutex mtx;

3. 创建客户端对象

然后，我们需要创建一个Wt::Http::Client的对象，用来发送HTTP请求，获取网页或图片的内容，如下所示：

// 创建一个Wt::Http::Client的对象，命名为client
Wt::Http::Client client;

// 设置客户端的超时时间为10秒，如果超过10秒没有收到响应，就放弃请求
client.setTimeout(10);

// 设置客户端的最大重定向次数为3次，如果超过3次重定向，就放弃请求
client.setMaximumRedirects(3);

// 设置客户端的爬虫代理服务器的信息，使用上面定义的爬虫代理的域名、端口、用户名、密码
client.setProxy(proxy_host, proxy_port, proxy_user, proxy_pass);

4. 定义回调函数

接下来，我们需要定义一个回调函数，用来处理客户端收到的响应，如下所示：

// 定义一个回调函数，命名为handle_response
// 该函数接受两个参数，一个是客户端对象的引用，一个是响应对象的指针
void handle_response(Wt::Http::Client& client, const Wt::Http::Message* response) {
    // 判断响应是否为空，如果为空，说明请求失败，打印错误信息，返回
    if (!response) {
        std::cerr << "Request failed: " << client.error() << std::endl;
        return;
    }

    // 判断响应的状态码是否为200，如果不是200，说明请求失败，打印错误信息，返回
    if (response->status() != 200) {
        std::cerr << "Request failed: " << response->status() << " " << response->statusText() << std::endl;
        return;
    }

    // 获取响应的内容类型，判断是否为text/html，如果是，说明请求的是网页，需要解析网页，提取图片的网址
    if (response->contentType() == "text/html") {
        // 获取响应的正文，转换为字符串
        std::string html = response->body();

        // 定义一个正则表达式，用来匹配图片的网址，图片的网址的格式为https://img9.doubanio.com/view/photo/l/public/pxxxxxxx.jpg
        std::regex regex("https://img9.doubanio.com/view/photo/l/public/p\\d+\\.jpg");

        // 定义一个正则迭代器，用来遍历网页中所有匹配的图片的网址
        std::sregex_iterator iter(html.begin(), html.end(), regex);
        std::sregex_iterator end;

        // 遍历所有匹配的图片的网址
        while (iter != end) {
            // 获取当前匹配的图片的网址，转换为字符串
            std::string image_url = iter->str();

            // 上锁，保证多线程的安全
            mtx.lock();

            // 把图片的网址添加到向量中
            image_urls.push_back(image_url);

            // 解锁，释放资源
            mtx.unlock();

            // 打印图片的网址，方便调试
            std::cout << "Image URL: " << image_url << std::endl;

            // 迭代器自增，继续下一个匹配
            iter++;
        }
    }

    // 获取响应的内容类型，判断是否为image/jpeg，如果是，说明请求的是图片，需要保存图片到本地
    if (response->contentType() == "image/jpeg") {
        // 获取响应的正文，转换为二进制数据
        std::vector<char> data = response->body();
        // 获取请求的URL地址，转换为字符串
        std::string url = response->request().url();
        // 从URL地址中提取图片的文件名，例如p123456789.jpg
        std::string filename = url.substr(url.find_last_of('/') + 1);
        // 拼接图片的保存路径，例如./images/p123456789.jpg
        std::string save_path = image_path + filename;
        // 创建一个文件流对象，用来写入图片数据
        std::ofstream file(save_path, std::ios::binary);
        
        // 判断文件流是否打开成功，如果失败，打印错误信息，返回
        if (!file.is_open()) {
            std::cerr << "File open failed: " << save_path << std::endl;
            return;
        }
        
        // 将二进制数据写入到文件中
        file.write(data.data(), data.size());
        // 关闭文件流
        file.close();
        // 打印图片的保存路径，方便调试
        std::cout << "Image saved: " << save_path << std::endl;
    } else {
        // 其他情况，暂不处理，打印响应的内容类型，方便调试
        std::cout << "Content type: " << response->contentType() << std::endl;
    }
}

5. 定义多线程函数

最后，我们需要定义一个多线程函数，用来在多个线程中发送HTTP请求，获取网页或图片的内容，如下所示：

// 定义一个多线程函数，命名为download
// 该函数接受两个参数，一个是客户端对象的引用，一个是URL地址的字符串
void download(Wt::Http::Client& client, const std::string& url) {
    // 创建一个HTTP请求对象，设置请求的URL地址
    Wt::Http::Request request(url);

    // 设置请求的方法为GET
    request.setMethod("GET");

    // 设置请求的头部，添加User-Agent字段，模拟浏览器访问
    request.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36");

    // 发送HTTP请求，并将回调函数作为参数传递
    client.send(request, std::bind(handle_response, std::ref(client), std::placeholders::_1));
}

四、运行结果

我们将上面的代码保存为main.cpp，然后使用以下命令编译和运行：

g++ main.cpp -o main -lwt -lwthttp -lpthread
./main

运行结果如下：

Initializing...
Initialization complete
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998334.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998333.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998332.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998331.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998330.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998329.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998328.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998327.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998326.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998325.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998324.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998323.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998322.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998321.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998320.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998319.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998318.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998317.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998316.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998315.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998314.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998313.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998312.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998311.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998310.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998309.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998308.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998307.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998306.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998305.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998304.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998303.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998302.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998301.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998300.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998299.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998298.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998297.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998296.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998295.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998294.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998293.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998292.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998291.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998290.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998289.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998288.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998287.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998286.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998285.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998284.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998283.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998282.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998281.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998280.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998279.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998278.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998277.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998276.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998275.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998274.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998273.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998272.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998271.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998270.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998269.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998268.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998267.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998266.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998265.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998264.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998263.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998262.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998261.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998260.jpg
Image URL: https://img9.doubanio.com/view/photo/l/public/p2626998259.jpg
Image URL: https://img9.doubanio.com/view

五、参考资料

  • Wt 官方网站：提供了 Wt 库的下载、安装、文档、示例、论坛等资源。
  • [《C++ 网络编程》]：一本介绍如何使用 C++ 进行网络编程的书籍，涵盖了网络基础、套接字、TCP/IP、UDP、HTTP、FTP、SMTP、SSL 等协议和技术。
  • [《C++ 并发编程实战》]：一本介绍如何使用 C++ 进行并发编程的书籍，涵盖了线程管理、同步原语、锁、条件变量、原子操作、内存模型、并行算法等内容。
  • [《C++ Primer Plus》]：一本经典的 C++ 入门教程，系统地讲解了 C++ 的基础知识、语法、特性、标准库等内容。
  • [《Effective C++》]：一本提高 C++ 编程水平的书籍，包含了 55 条实用的建议，涉及到 C++ 的各个方面，如对象管理、函数、继承、泛型、异常等。
亿牛云爬虫专家
关注
专栏目录
学习WT库之安装
林思弘的秘密花园
02-03 3439
1.安装的一些问题： 安装方法：http://redmine.webtoolkit.eu/projects/wt/wiki/Installing_Wt_on_MS_Windows 2.安装BOOST资料 很GOOD 很新 http://www.docin.com/p-181270312.html 3.QT4。 擦 设置了半天， 居然提示要装QT4的库 幸好去年学游戏的
wt概述-c++ web
The research on computer technolog
12-09 1785
虽然Wt是用c++实现的，但它的主要焦点或新奇之处并不在于性能，而在于开发可维护的应用程序和广泛的内置小部件库。但是由于它在嵌入式系统中很流行并被广泛使用，您会发现性能和足迹也得到了优化，这得益于一个没有废话的API、周到的架构和c++…在本教程中，我们将使用两个小程序来演示如何使用Wt创建web应用程序。在本教程之后，您应该很好地掌握了Wt应用程序是如何构建的，以及它如何为您提供管理复杂性的工具。
Wt(C++ Web) 源码编译以及cmake配置
qq_34524246的博客
09-20 1011
Wt(C++ web)环境配置
c++ wt开发环境配置
谢小军的专栏
03-15 3657
最近看到一个开源库，c++ web toolkit库， Wt是一个针对Web应用开发的C++ widget库。可以使用c++开发web应用，感觉相当的巴适啊。所以就来学习使用了， 这里方便将来回顾，so，在这里发布了写白痴的博客，方便将来查看。 首先要编译wt库，我是使用Windows来做开发的，故在网上下了个现成的 地址：http://sourceforge.net/projects/w...
妙解：功率分析仪直连CAN网络
01-19
有了它，就可以直接将横河的WT5000或WT1800E系列功率分析仪接入到您的CAN系统中，轻松获取需要的功率参数。 　为什么需要CAN通信适配器？ 　CAN总线因其优异的稳定性和可扩展性，不但在汽车电子领域应用非常广泛，...
通信与网络中的WT6104CLVG在无线通信系统中的应用
11-30
摘 要：本文介绍了WT6104CLVG在无线通信系统中的典型设计,包括芯片的功能介绍、电路设计以及驱动程序的实现。 　关键词：WT6104CLVG;802.11a/b/g;WLAN;S3C2410 　引言 　目前，WLAN作为一种实现宽带无线IP接入的...
WT-JS_DEBUG 【JS调试器，自带各种加密函数库，可一键生成】
02-28
本资源“WT-JS_DEBUG”提供了一个内置多种加密函数库的JS调试器，使得开发者在调试过程中可以方便地进行代码加密，保护应用程序的安全性。 **JS调试器的功能** 1. **断点设置**：在代码的特定行设置断点，当程序...
WT588D语音模块组语音芯片（可反复擦写）高音质语音下载16P-32M-33
06-17
WT588D是一款常见的语音模块，主要用于嵌入式系统中实现语音播放功能。该模块通过简单的串口通信进行控制，并且具有以下特点： 存储容量：WT588D语音模块内置了闪存存储器，可用于存储音频文件。存储容量通常为16M...
RestAPIWt:使用Wt构建Restful Service的框架
04-28
Wt（WebToolkit）是另一个C++库，用于构建富互联网应用程序（Rich Internet Applications），它可以提供桌面级的用户体验，但运行在Web服务器上。 Wt库为开发者提供了丰富的控件和事件模型，使得C++程序员可以像...
Wt官方入门向导（中文翻译）
02-26
Wt是一个针对Web应用开发的C++ widget库。Wt应用模型和现存的GUI库（例如微软的MFC或者TrolTech的Qt）是很相似的。同时，Wt为开发者隐藏了很多潜在的技术细节（HTML,Forms/CGI, JavaScript, Ajax等等），就像Qt库如何隐藏潜在的X库或者微软的Windows GUI的细节一样。 因为Wt的API对底层的技术（Forms,JavaScript或者Ajax）做了抽象，Wt根据浏览器支持的技术来和浏览器通信。使应用能够在一大堆浏览器种运行的责任从应用开发者身上转移到了Wt库开发者身上
wt - 网站开发c++框架
03-15
wt框架是一个c++框架，用于网站开发。通常我们习惯了使用脚本语言来开发网站，实际上使用c++也是可以做到的。wt就提供了这样的一整套开发套件。感兴趣的可以学习一下。
wt c++敲web程序库wt-3.2.0.tar.gz
03-06
wt c++敲web程序库wt-3.2.0.tar.gz
Wt库的C++下载器程序
最新发布
weixin_73725158的博客
10-26 214
以下是一个使用Wt库的C++下载器程序，用于下载音频文件。// 使用Wt::Http::get()函数发送HTTP请求。// 使用HTTP客户端发送GET请求。// 保存音频文件到缓存目录。在这个函数中，您可以添加需要执行的代码。// 创建一个HTTP客户端。// 执行下载完成后的操作。// 创建一个缓存目录。// 音频下载完成后的回调函数。// 设置代理服务器。// 等待用户输入键盘按键。// 创建一个音频下载器。// 定义一个函数来获取服务器。// 解析JSON响应。// 定义一个类来处理音频下载。
Qt 动态库的创建和使用
weixin_42692504的博客
08-16 1360
Qt 动态库 动态库是经常用于给别人调用你模块的方法但是又不想人家知道你的代码。 Qt 动态库创建 在到最后完成就可以看到项目 将xxxx_global.h文件中的内容放到 dlldemo.h文件中 在.h和.cpp写自己的方法如图 然后编译就会有下面的界面 不用管 这样你的动态库就完成了 。下面是找到动态库的位置 动态库创建完成，下面是调用 这两个文件放在你要测试的工程下面 ...
Wt简介
菜园子
12-10 5229
<br />作者：Wim Dumon and Koen Deforche <br />*  关于作者1：本文作者Wim Dumon，Sobicom nv创立者，专注于嵌入式系统设计及生物信息方面的软件工程咨询服务，wdumon@gmail.com。<br />*  关于作者2：Koen Deforche，Wt库作者，医学博士，创立并运行Emweb公司（http://www.emweb.eu/），koen.deforche@gmail.com。<br />翻译：zhmsong<br /><br />注：本文译
Wt C++工具包的简介
陶桃猪的专栏
04-18 3623
Wt是一个Web应用开发的C++库，如果你想要使用C++来进行Web应用开发，Wt是一个不错的选择。这篇文章是对Wt的入门级介绍，本人已经将翻译完成的WORD文档共享于百度文库，搜索相同题名即可找到。
Wt入门
菜园子
12-10 3037
一篇关于Wt C++类库开发Web应用的深入浅出的介绍*最早发布于2006年4月“软件开发者”期刊，针对于Wt1.1.0。当然也可以获取PDF形式的拷贝。1 介绍未来的web开发技术C++是一种公认的可以可以用来开发各种应用的语言，比如桌面应用程序，邮件客户端程序，数据库引擎程序等等。然而使用C++开发web应用却有着一定的限制。相反占据web应用开发的语言有：Java,PHP,Python和Perl，除过PHP，还有一些特定的用于开发web应用的框架，比如J2EE，用于Java上的Struts，用于Per
DSL论坛WT-101标准：以太网DSL汇聚网络迁移指南
"DSL论坛发布的WT-101标准文档，主要讨论了如何将DSL接入网络迁移到基于以太网的聚合网络，适用于TR-25和TR-59架构，并涉及接入节点的功能、协议转换、QoS、安全及OAM问题。" DSL论坛的WT-101工作文本是关于DSL接入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值