ceph分布式存储相关知识点以及搭建

#这是一个用于将本地主机的/etc/hosts文件复制到指定IP地址的远程主机上的命令，它使用循环语句和scp命令实现了批量复制的功能。具体来说，for i in 130 131 132表示将i依次赋值为130、131、132，然后执行循环语句；do和done之间的部分是循环体，其中scp /etc/hosts 192.168.115.${i}:/etc/hosts表示将本地主机的/etc/hosts文件复制到IP地址为192.168.115.${i}的远程主机上。

（八）配置ssh免密登录

1、配置centos1（192.168.115.128）

命令：ssh-keygen #生成密钥

for i in 130 131 132;do ssh-copy-id root@192.168.115.$i;done #上传密钥

2、配置centos2（192.168.115.130）

命令：ssh-keygen #生成密钥

for i in 128 131 132;do ssh-copy-id root@192.168.115.$i;done #上传密钥

3、配置centos3（192.168.115.131）

命令：ssh-keygen #生成密钥

for i in 130 128 132;do ssh-copy-id root@192.168.115.$i;done #上传密钥

4、配置centos4（192.168.115.132）

命令：ssh-keygen #生成密钥

for i in 130 131 128;do ssh-copy-id root@192.168.115.$i;done #上传密钥

#要测试，需要在四台虚拟机上分别测试IP地址以及主机名能否实现免密登录。

（九）设置时间同步（在centos1上开启时间同步服务器）

1、安装

命令：yum -y install ntp

2、配置

命令：vim /etc/ntp.conf

server 127.127.1.0 #定义时间服务器

fudge 127.127.1.0 stratum 8 #定义时间层次

3、启动服务

命令：systemctl start ntpd #开启服务

systemctl enable ntpd #设置为开机自启

4、客户端对时

命令：for i in 130 131;do ssh 192.168.115.$i ntpdate 192.168.115.128;done

（十）添加磁盘（除了虚拟机centos4不添加磁盘）

（十一）热扫描磁盘

命令：echo "- - -" > /sys/class/scsi_host/host0/scan

for i in 130 131;do ssh 192.168.115.$i echo "- - -" > /sys/class/scsi_host/host0/scan && lsblk;done

#这是一个用于在多个远程主机上执行命令的循环语句，它将在IP地址为192.168.115.130和192.168.115.131的两台主机上执行相同的命令。具体来说，for i in 130 131表示将i依次赋值为130、131，然后执行循环语句；do和done之间的部分是循环体，其中ssh 192.168.115.$i表示连接IP地址为192.168.115.$i的远程主机，echo "- - -" > /sys/class/scsi_host/host0/scan表示向远程主机发送命令，将字符串"- - -"写入/sys/class/scsi_host/host0/scan文件中，这个命令的作用是重新扫描SCSI总线，并检测新加入的硬盘设备；最后，lsblk表示列出当前系统中所有的块设备信息。

（十二）格式化

命令：mkfs.xfs /dev/sdb

#需分别在虚拟机centos1、centos2、centos3上输入此命令

七、安装ceph（只在虚拟机centos1执行）

（一）解决依赖关系

命令：yum -y install epel-release

yum -y install lttng-ust

#epel-release是一个第三方软件源的仓库，它提供了大量常用的Linux软件包，包括一些不在默认仓库中的软件包。通常在安装一些第三方软件时需要先安装该软件包，以获取更全面的软件包支持。

#lttng-ust是一个用户空间跟踪器，它可以用于在系统和应用程序级别对Linux进行跟踪和分析，为调试和性能分析提供有用的信息。

(二)添加ceph安装源

命令：vim /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
# 清华源
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

对编辑到/etc/yum.repos.d/ceph.repo文件中的内容作以说明

（三）安装

命令： yum -y install ceph ceph-deploy

八、集群构建（只在虚拟机centos1执行）

（一）创建集群目录

命令：mkdir -p /usr/local/soft/cephcluster

cd /usr/local/soft/cephcluster

（二）创建集群（注意当前操作以及下面操作需在/usr/local/soft/cephcluster目录下进行操作）

ceph-deploy new centos1 centos2 centos3

#此过程消耗时间过长（可以稍微休息一下）

（三）修改配置文件ceph.conf

命令：vim ceph.conf（将下面内容添加到该文件中）

#对外开放网段
public network = 192.168.115.0/24
# 设置pool池默认分配数量
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

（四）在指定主机（centos1、centos2和centos3）上安装Ceph软件。

命令：ceph-deploy install centos1 centos2 centos3

（五）创建初始监视器（monitor）

命令：ceph-deploy mon create-initial

（六）同步管理信息

命令：ceph-deploy admin centos1 centos2 centos3

#这是使用ceph-deploy在三个节点上创建Ceph管理密钥的命令。具体来说，ceph-deploy是Ceph官方提供的一个管理工具，admin是该工具提供的一个子命令，用于在指定的Ceph节点上创建管理员用户和密钥。在执行此命令之前，您需要已经通过ceph-deploy安装了Ceph软件，并且已经创建了一个或多个Ceph监视器，以及在这些监视器上运行了Ceph Manager守护程序。在执行此命令后，将在指定的三台节点上创建一个名为ceph的用户，该用户将被授予管理Ceph集群的权限，并且会生成一个密钥文件，可以在后续操作中使用该密钥文件来管理Ceph集群。