云备份项目：在云端保护您的数据【一、初识】

桃李不言，下自成蹊

---

☘️项目源代码：云备份
☘️云备份专栏：云备份

---

项目简介

云备份系统是一个自动化的备份解决方案，旨在轻松地将本地计算机上指定文件夹中需要备份的文件上传至远程服务器。该系统不仅提供了方便的文件备份功能，还允许用户通过浏览器随时查看和下载备份的文件。在下载过程中，系统支持断点续传功能，确保用户可以灵活地管理下载过程。

为了优化服务器存储空间的利用，云备份系统实施了文件的热点管理策略。服务器会对上传的文件进行热点分析，将非热点文件进行压缩存储，从而有效地节省磁盘空间。这种智能的存储管理方式既确保了备份文件的完整性，又最大程度地减少了存储成本。

用户只需设置本地计算机上需要备份的文件夹，系统将自动执行备份任务，并提供直观易用的浏览器界面供用户随时查看和下载备份的文件。云备份系统的设计旨在为用户提供高效、安全、可靠的文件备份与管理服务，使其能够轻松应对数据安全和存储管理的挑战。

初见：

ps：这是最朴素的版本，更新ing…最新版本见云备份项目

项目设计方案

这个云备份项目需要实现两端程序，其中包括部署在用户机的客户端程序，上传需要备份的文件，以及运行在服务器上的服务端程序，实现备份文件的存储和管理，两端合作实现总体的自动云备份功能。

服务端功能划分

服务端程序负责功能如下：

1. 文件备份存储：

   • 处理客户端上传的文件，负责将这些文件安全地存储在服务器上，确保备份的完整性和可恢复性。

2. 热点文件管理：

   • 实施热点文件管理机制，对上传的文件进行分析和标记。
   • 将非热点文件进行压缩存储，以最大化磁盘空间的利用效率。

3. 浏览器访问文件列表：

   • 提供客户端浏览器访问文件列表的功能，用户可以通过浏览器轻松查看备份文件的清单。

4. 文件下载支持：

   • 允许客户端浏览器通过界面下载备份的文件。
   • 实现断点续传功能，以便在下载过程中出现中断时能够恢复下载而不重头开始。

这些功能共同构成了服务端程序的主要职责，确保备份系统能够高效、安全地处理客户端上传的文件，并提供方便的浏览和下载操作。通过文件的热点管理和断点续传支持，系统提供了优化存储和用户体验的关键特性。根据以上功能，可以划分为如下几大模块：

模块	说明
数据管理模块	负责服务器上备份文件的信息管理，包括文件的存储位置、属性等。维护备份文件的元数据，确保备份系统能够有效地管理文件信息。
网络通信模块	搭建网络通信服务器，实现与客户端之间的通信，处理请求和传输数据。管理客户端与服务端之间的通信通道，确保数据的安全传输和正常交互。
业务处理模块	针对客户端的各种请求进行相应的业务处理，并向客户端返回处理结果。解析客户端请求，执行相应的业务逻辑，确保系统能够满足用户的操作需求。
热点管理模块	负责文件的热点判断，对上传的文件进行分析，并对非热点文件进行压缩存储。优化存储空间，确保备份系统能够高效地处理和管理文件，提高存储利用率。

这些功能模块共同协作，构成了服务端程序的核心组成部分，确保备份系统能够顺利运行、高效处理数据，并提供用户期望的功能和性能。

客户端功能划分

客户端程序负责功能如下：

1. 自动检测文件夹中的文件：

   • 描述： 客户端程序能够自动检测客户机指定文件夹中的文件，监测文件的变化情况。
   • 职责： 实时检测指定文件夹，确保备份系统能够及时感知文件的变化和新增。

2. 判断文件是否需要备份：

   • 描述： 对检测到的文件进行判断，确定哪些文件需要备份。
   • 职责： 根据备份策略或文件变更情况，判断文件的备份需求，减少冗余备份。

3. 文件逐个上传到服务器：

   • 描述： 客户端程序负责将需要备份的文件逐个上传到服务器。
   • 职责： 建立与服务器的通信通道，安全、高效地将需要备份的文件传输到服务器。

这些功能共同构成了客户端程序的主要职责，确保备份系统能够自动检测、判断文件备份需求，并通过安全的通信方式将文件上传至服务器，实现自动化的云备份功能。根据以上功能可划分为如下几大模块：

模块	说明
数据管理模块	负责客户端备份的文件信息管理，维护备份文件的元数据，以确定文件是否需要备份。管理文件的备份状态、属性等信息，为文件备份决策提供依据。
文件检测模块	遍历获取指定文件夹中所有文件的路径和名称，监测文件的变化情况。实时检测指定文件夹，获取文件列表，以便后续备份判断和传输。
网络通信模块	搭建网络通信客户端，负责与服务器进行通信，将文件数据备份上传到服务器。建立安全、可靠的通信通道，确保备份文件能够顺利传输到服务器端。

这些功能模块协同工作，构成了客户端程序的核心组成部分。数据管理模块负责备份文件信息的管理，文件检测模块负责实时监测文件变化，而网络通信模块则负责将备份文件安全地传输到服务器端。这样的模块划分有助于实现客户端程序的高效、稳定和自动化备份功能。

项目环境搭建

该项目是基于一个典型的Linux开发环境，操作系统为CentOS 7.6，使用Vim作为文本编辑器，g++为编译器，GDB用于调试，而Makefile则用于自动化构建和管理项目。还有一个Windows开发环境，使用Visual Studio 2017作为集成开发环境。Visual Studio提供了丰富的开发工具和调试功能，适用于多种编程语言和应用类型。

这两个开发环境的选择主要取决于个人的偏好和项目的需求。在Linux环境下，使用经典的文本编辑器和命令行工具，而在Windows环境下，使用Visual Studio等集成开发环境提供更丰富的图形界面和开发功能。

环境准备

1. 升级gcc为7.3版本

sudo yum install centos-release-scl-rh centos-release-scl
sudo yum install devtoolset-7-gcc devtoolset-7-gcc-c++
source /opt/rh/devtoolset-7/enable
echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc

这一系列命令用于在CentOS系统上安装和启用Developer Toolset 7（devtoolset-7），这是一个包含最新编译工具的软件集合，可以用于更先进的软件开发。

• 安装 SCL 软件包:

  sudo yum install centos-release-scl-rh centos-release-scl
  

  这两个命令用于安装 Software Collections（SCL）的相关软件包，其中 centos-release-scl-rh 提供 SCL 存储库的支持，而 centos-release-scl 包含 SCL 基础包。

• 安装 Developer Toolset 7:

  sudo yum install devtoolset-7-gcc devtoolset-7-gcc-c++
  

  这两个命令用于安装 Developer Toolset 7 中的 GCC 编译器。devtoolset-7-gcc 包含 GCC 编译器，devtoolset-7-gcc-c++ 包含 C++ 支持。

• 启用 Developer Toolset 7:

  source /opt/rh/devtoolset-7/enable
  

  这个命令启用 Developer Toolset 7。通过 source 命令执行 /opt/rh/devtoolset-7/enable 脚本，将相应的工具链添加到当前的 Shell 环境中。

• 将启用命令添加到 ~/.bashrc 文件:

  echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc
  

  这个命令将启用 Developer Toolset 7 的命令添加到用户的 ~/.bashrc 文件中，确保在每次登录时自动启用。

第三方库

在项目的开发中，为了更好更高效的进行项目开发，将开发重心放在项目业务的实现上。因此，使用第三方库是非常有必要的。

JsonCpp

JsonCpp 是一个用于处理 JSON 数据的 C++ 库。实现 JSON 格式的序列化和反序列化，完成将多个数据对象组织成为 JSON 格式字符串，以及将 JSON 格式字符串解析得到多个数据对象的功能。它提供了一组类和函数，使得在 C++ 中解析和生成 JSON 数据变得更加方便。

• 安装 JsonCpp 库

  sudo yum install epel-release
  sudo yum install jsoncpp-devel
  

  这两个命令用于在 CentOS/RHEL 系统上安装 JsonCpp 库的开发包。EPEL (Extra Packages for Enterprise Linux) 是一个为企业版 Linux 发行版提供附加软件包的项目，第一个命令安装了 EPEL 存储库，使得系统可以访问 EPEL 中提供的额外软件包。第二个命令安装了 JsonCpp 库的开发包，其中 jsoncpp-devel 提供了用于开发的头文件和库文件。开发包通常包含了编写使用 JsonCpp 的应用程序所需的文件。

  通过这两个命令就在系统上安装了 JsonCpp 库的开发包，使得你可以在项目中使用 JsonCpp 库进行 JSON 数据的处理。

  

  注意，centos版本不同有可能安装的jsoncpp版本不同，安装的头文件位置也就可能不同。

JsonCpp 提供了灵活的接口，可以处理复杂的 JSON 结构。在实际项目中，可能需要深入了解 JsonCpp 的更多功能和用法。请移步至jsoncpp。

bundle数据压缩库

bundle库是一个嵌入式的压缩库，支持23种压缩算法和2种存档格式。该库由两个文件组成，用于对数据进行压缩和解压缩。更多详情移步至bundle

• 下载库：

  sudo yum install git
  git clone https://github.com/r-lyeh-archived/bundle.git
  

httplib

httplib是一个轻量级的C++ HTTP库，旨在提供简单易用的方式来创建基于HTTP协议的网络应用程序。它可以用于构建HTTP服务器和客户端，支持跨平台，在各种操作系统上都能运行。

主要特点	说明
简单易用	httplib库的设计简洁明了，易于理解和使用。通过简单的API调用，可以快速搭建起HTTP服务器或者创建HTTP客户端，无需复杂的配置和操作。
轻量级	该库体积小巧，不依赖于其他外部库，只使用C++标准库，因此对项目的依赖性很低，易于集成到现有的C++项目中。
跨平台	httplib可以在各种主流操作系统上运行，包括Windows、Linux、macOS等，保证了在不同平台上的通用性和可移植性。
HTTP服务器	使用httplib可以轻松创建HTTP服务器，处理客户端的HTTP请求，并根据请求内容生成相应的响应。支持GET、POST等HTTP方法，以及路由处理、请求参数解析等功能。
HTTP客户端	除了作为服务器端，httplib也提供了HTTP客户端的功能，可以发送HTTP请求到远程服务器，并处理服务器返回的响应。
SSL支持	httplib支持通过SSL/TLS协议进行安全的HTTP通信，保障了数据的传输安全性。
活跃的社区	httplib是一个活跃的开源项目，拥有一批积极贡献的开发者和用户社区，不断更新和改进，保证了库的稳定性和功能的完善性。

• 下载

  git clone https://github.com/yhirose/cpp-httplib.git
  

总体而言，httplib是一个功能丰富、易于使用的C++ HTTP库，适用于构建各种类型的HTTP应用程序，包括Web服务、RESTful API、HTTP代理等。它的简单性、灵活性和跨平台性使得它成为许多C++开发者首选的HTTP库之一。了解更多请移步至httplib。

总结

文章对云备份项目做了粗略简介，对项目的设计实现以及各端的功能都进行了细致划分，规划了各模块负责的主要功能。也对项目所需要的环境以及库进行简介和搭建，为后续项目的继续实现奠定基础。感兴趣的小伙伴点赞关注，咱们持续更新…