ceph分布式存储

一.存储基础

1.单机存储设备

●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）

• IDE、SATA、SCSI、SAS、USB 接口的磁盘
• 所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储

●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）

• NFS、CIFS、FTP
• 文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进行网络通信，把它转为好像本地文件系统一样来使用，这种存储服务是没办法对它再一次格式化创建文件系统块的

●SAN（存储区域网络）

• SCSI协议（只是用来传输数据的存取操作，物理层使用SCSI线缆来传输）、FCSAN（物理层使用光纤来传输）、iSCSI（物理层使用以太网来传输）
• 也是一种网络存储，但不同之处在于SAN提供给客户端主机使用的接口是块级别的存储

2.单机存储的问题

●存储处理能力不足

• 传统的IDE的IO值是100次/秒，SATA固态磁盘500次/秒，固态硬盘达到2000-4000次/秒。即使磁盘的IO能力再大数十倍，也不够抗住网站访问高峰期数十万、数百万甚至上亿用户的同时访问，这同时还要受到主机网络IO能力的限制。

●存储空间能力不足

• 单块磁盘的容量再大，也无法满足用户的正常访问所需的数据容量限制。

●单点故障问题

• 单机存储数据存在单点故障问题
• 商业存储解决方案
• EMC、NetAPP、IBM、DELL、华为、浪潮

3.分布式存储（软件定义的存储 SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。

分布式存储的类型

块存储（例如硬盘，一般是一个存储被一个服务器挂载使用，适用于容器或虚拟机存储卷分配、日志存储、文件存储）

• 就是一个裸设备，用于提供没有被组织过的存储空间，底层以分块的方式来存储数据

文件存储（例如NFS，解决块存储无法共享问题，可以一个存储被多个服务器同时挂载，适用于目录结构的存储、日志存储）

• 是一种数据的组织存放接口，一般是建立在块级别的存储结构之上，以文件形式来存储数据，而文件的元数据和实际数据是分开存储的

对象存储（例如OSS，一个存储可以被多服务同时访问，具备块存储的高速读写能力，也具备文件存储共享的特性，适用图片存储、视频存储）

• 基于API接口提供的文件存储，每一个文件都是一个对象，且文件大小各不相同的，文件的元数据和实际数据是存放在一起的

4.Ceph 简介

Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。

Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。

粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。目前国内使用Ceph搭建分布式存储系统较为成功的企业有华为、阿里、中兴、华三、浪潮、中国移动、网易、乐视、360、星辰天合存储、杉岩数据等。

5.Ceph 优势

• 高扩展性：去中心化，支持使用普通X86服务器，支持上千个存储节点的规模，支持TB到EB级的扩展。
• 高可靠性：没有单点故障，多数据副本，自动管理，自动修复。
• 高性能：摒弃了传统的集中式存储元数据寻址的方案，采用 CRUSH 算法，数据分布均衡，并行度高。
• 功能强大：Ceph是个大一统的存储系统，集块存储接口（RBD）、文件存储接口（CephFS）、对象存储接口（RadosGW）于一身，因而适用于不同的应用场景。

6.Ceph架构（从下往上）

• RADOS对象存储系统（统一存储池）：提供存储能力的。Ceph中的一切都是以对象形式存储的，RADOS就是负责存储这些对象的，并保证数据的一致性和可靠性。
• LibRADOS对象访问接口：提供访问存储接口给客户端使用。支持用户使用C、C++、java、python等编程语言二次开发自定义的访问接口。
• Ceph默认提供三个接口：RBD块存储接口、RGW对象存储接口、CephFS文件存储接口。
• 客户端（物理机/虚拟机/容器/应用APP）：通过接口在Ceph进行数据读写的终端。

7.Ceph的存储过程

1. 文件会默认以4M大小进行分片成一个或多个数据对象(object)
2. 每个数据对象都有一个oid（由文件ID(ino)和分片编号(non)组成），通过对oid使用hash算法得到一个16进制的数值，再除以Pool里的PG总数取余，获取到数据对象的pgid
3. 通过对pgid使用crush算法获取到PG所映射的OSD的ID，如果是多副本，则会有多个OSD的ID（PG和OSD的映射关系是在创建Pool的时候就确定好了的）
4. 将数据对象存储到PG所映射的OSD里

二.Ceph安装部署

主机名	IP	Cluster网络	角色
admin	192.168.86.10		admin（管理节点负责集群整体部署）
node01	192.168.86.20	192.168.100.20	mon、mgr、osd（sdb、sdc、sdd硬盘）
node02	192.168.86.30	192.168.100.30	mon、mgr、osd（sdb、sdc、sdd硬盘）
node03	192.168.86.40	192.168.100.40	mon、mgr、osd（sdb、sdc、sdd硬盘）
client	192.168.86.50		client

1)环境准备

1、关闭 selinux 与防火墙

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

2.根据规划设置主机名 

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

3.配置 hosts 解析 

cat >> /etc/hosts << EOF
192.168.86.10 admin
192.168.86.20 node01
192.168.86.30 node02
192.168.86.40 node03
192.168.86.50 client
EOF

 

4.安装常用软件和依赖包

yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

5.在 admin 管理节点配置 ssh 免密登录所有节点  192.168.86.10 

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
sshpass -p 'wei1999' ssh-copy-id -o StrictHostKeyChecking=no root@admin
sshpass -p 'wei1999' ssh-copy-id -o StrictHostKeyChecking=no root@node01
sshpass -p 'wei1999' ssh-copy-id -o StrictHostKeyChecking=no root@node02
sshpass -p 'wei1999' ssh-copy-id -o StrictHostKeyChecking=no root@node03

6.配置时间同步 

systemctl enable --now chronyd
timedatectl set-ntp true					#开启 NTP
timedatectl set-timezone Asia/Shanghai		#设置时区
chronyc -a makestep							#强制同步下系统时钟
timedatectl status							#查看时间同步状态
chronyc sources -v							#查看 ntp 源服务器信息
timedatectl set-local-rtc 0					#将当前的UTC时间写入硬件时钟
 
#重启依赖于系统时间的服务
systemctl restart rsyslog 
systemctl restart crond
 
#关闭无关服务
systemctl disable --now postfix

7.配置 Ceph yum源 

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
 
rpm -ivh ceph-release-1-1.el7.noarch.rpm --force


执行完上面所有的操作之后重启所有主机
reboot

2）部署 Ceph 集群 

1.为所有节点都创建一个 Ceph 工作目录，后续的工作都在该目录下进行

mkdir -p /etc/ceph

2.安装 ceph-deploy 部署工具 

cd /etc/ceph
yum install -y ceph-deploy
 
ceph-deploy --version

3.在管理节点为其它节点安装 Ceph 软件包

采用手动安装 Ceph 包方式，在其它节点上执行下面的命令将 Ceph 的安装包都部署上：
sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

4.生成初始配置

#在管理节点运行下述命令，告诉 ceph-deploy 哪些是 mon 监控节点
cd /etc/ceph
ceph-deploy new --public-network 192.168.86.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03
 
#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.conf					#ceph的配置文件
ceph-deploy-ceph.log		#monitor的日志
ceph.mon.keyring			#monitor的密钥环文件

 

5.在管理节点初始化 mon 节点

cd /etc/ceph
ceph-deploy mon create node01 node02 node03			#创建 mon 节点，由于 monitor 使用 Paxos 算法，其高可用集群节点数量要求为大于等于 3 的奇数台
 
ceph-deploy --overwrite-conf mon create-initial		#配置初始化 mon 节点，并向所有节点同步配置
													# --overwrite-conf 参数用于表示强制覆盖配置文件
 
ceph-deploy gatherkeys node01						#可选操作，向 node01 节点收集所有密钥
 
#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.bootstrap-mds.keyring			#引导启动 mds 的密钥文件
ceph.bootstrap-mgr.keyring			#引导启动 mgr 的密钥文件
ceph.bootstrap-osd.keyring			#引导启动 osd 的密钥文件
ceph.bootstrap-rgw.keyring			#引导启动 rgw 的密钥文件
ceph.client.admin.keyring			#ceph客户端和管理端通信的认证密钥，拥有ceph集群的所有权限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring

6.部署能够管理 Ceph 集群的节点 

#可实现在各个节点执行 ceph 命令管理集群
cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03		#向所有 mon 节点同步配置，确保所有 mon 节点上的 ceph.conf 内容必须一致
 
ceph-deploy admin node01 node02 node03			#本质就是把 ceph.client.admin.keyring 集群认证文件拷贝到各个节点
 
#在 mon 节点上查看
ls /etc/ceph
ceph.client.admin.keyring  ceph.conf  rbdmap  tmpr8tzyc
 
cd /etc/ceph
ceph -s

7.部署 osd 存储节点 

#主机添加完硬盘后不要分区，直接使用
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd
 
添加的三块硬盘都要

8.部署 mgr 节点

#ceph-mgr守护进程以Active/Standby模式运行，可确保在Active节点或其ceph-mgr守护进程故障时，其中的一个Standby实例可以在不中断服务的情况下接管其任务。根据官方的架构原则，mgr至少要有两个节点来进行工作。
cd /etc/ceph
ceph-deploy mgr create node01 node02

9.开启监控模块 

#在 ceph-mgr Active节点执行命令开启
ceph -s | grep mgr
 
yum install -y ceph-mgr-dashboard
 
cd /etc/ceph
 
ceph mgr module ls | grep dashboard
 
#开启 dashboard 模块
ceph mgr module enable dashboard --force
 
#禁用 dashboard 的 ssl 功能
ceph config set mgr mgr/dashboard/ssl false
 
#配置 dashboard 监听的地址和端口
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000
 
#重启 dashboard
ceph mgr module disable dashboard
ceph mgr module enable dashboard --force
 
#确认访问 dashboard 的 url
ceph mgr services
 
#设置 dashboard 账户以及密码
echo "wei1999" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
  或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt

10.浏览器访问验证：http://192.168.86.20:8000