Web集群_03

Web集群_02

时代与服务器

• 物理机时代 , 服务运行在物理主机上
• 虚拟化时代 , 服务运行在虚拟机上
• 云计算时代 , 服务运行在云主机上
• 云原生时代 , 服务运行在容器中 (微服务)
• 宠物式管理 , 知道具体详细信息的管理方式
• 牲畜式管理 , 只知道大体信息 , 不知道详细信息的管理方式

分布式存储

介绍

• 分布式是指一种独特的系统架构 , 它由一组网络进行通信 , 为了完成共同的任务而协调工作的计算机节点组成
• 分布式系统是为了用廉价的 , 普通的机器完成单个计算机无法完成的计算 , 储存任务
• 其目的就是利用更多的机器 , 处理更多的数据

定义

• 分布式存储是一种数据存储技术 , 将数据分散储存在多台独立的设备上

• 通过连接多台机器上的磁盘空间 , 将分散的存储资源构成一个虚拟的存储设备

常用的分布式文件系统

• Lustre
• Hadoop
• FastDFS
• Ceph
• GlusterFS

Ceph

介绍

• Ceph 是一个分布式存储系统
• 具有高扩展 , 高可用 , 高性能的特点
• Ceph 可以提供对象存储 , 块存储 ,文件系统存储
• Ceph 可以提供 PB 级别的存储空间

Ceph集群

1. 配置网络参数 , 主机名 , yum
2. 配置名称解析
3. 配置NTP
4. 配置容器仓库服务器
5. 在ceph节点上安装软件包
6. 在ceph节点上导入镜像
7. 在某一节点上将镜像上传至仓库服务器

存储方式

• 块存储 : 提供像普通硬盘一样的存储 , 为使用者提供"硬盘"
• 文件系统存储 : 类似于NFS的共享方式 , 为使用者提供共享文件夹
• 对象存储 : 像百度云盘一样 , 需要使用单独的客户端

Ceph存储集群

Ceph集群至少需要 [ Ceph监视器 ] , [ Ceph管理器 ] , [ Ceph OSD ]对象存储守护程序 .

运行Ceph文件系统客户端时 , 需要 [ Ceph元数据服务器 ].

• 监视器 ( ceph-mon )

  • 维护集群状态图，包括监视器图、管理器图、OSD图、MDS图和CRUSH图。这些映射是Ceph守护进程相互协调所需的关键集群状态。监视器还负责管理守护程序和客户端之间的身份验证。为了冗余和高可用性，通常至少需要三台Monitor。

• 管理器( ceph-mgr )

  • 负责跟踪ceph集群的运行时指标和当前状态，包括存储利用率、当前性能指标和系统负载。Ceph Manager守护进程还托管基于python的模块来管理和公开Ceph集群信息，包括基于web的Ceph仪表板和REST API。高可用性通常需要至少两台Manager。

• Ceph OSD

  • ceph-osd存储数据，处理数据复制、恢复、重新平衡，并通过检查其他Ceph OSD守护进程的心跳来为Ceph监视器和管理器提供一些监视信息。为了实现冗余和高可用性，通常至少需要三个Ceph OSD。

• MDS

  • ceph-mds代表Ceph文件系统存储元数据(即，Ceph块设备和Ceph对象存储不使用MDS)。Ceph元数据服务器允许POSIX文件系统用户执行基本命令(如ls、find等)。)而不会给Ceph存储集群带来巨大的负担。

• RGW

  • Rados Gateway，是一个提供对象存储功能的组件，可以通过RESTful接口向外部应用程序提供可扩展和高可用的存储服务。

• Ceph将数据作为对象存储在逻辑存储池中。使用CRUSH算法，Ceph计算哪个归置组(PG)应该包含该对象，以及哪个OSD应该存储该归置组。CRUSH算法支持Ceph存储集群动态扩展、重新平衡和恢复。

• 部署ceph集群需要

  • python3
  • podman或docker
  • 时间服务（如chrony）
  • lvm2