Ceph实战（二）-高可用集群部署

[Ceph]

name=Ceph packages for $basearch

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/$basearch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc

[Ceph-noarch]

name=Ceph noarch packages

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc

[ceph-source]

name=Ceph source packages

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc

3、配置主机名

分别在三台服务器上修改主机名，登录192.168.1.198服务器，执行以下命令：

$ hostnamectl set-hostname node1

登录192.168.1.199服务器，执行以下命令

$ hostnamectl set-hostname node2

登录192.168.1.200服务器，执行以下命令：

$ hostnamectl set-hostname node3

到此三台服务器主机名修改完成。

4、配置hosts解析

分别在三台服务器上执行以下命令：

$ vim /etc/hosts

在上述文件中增加以下内容：

192.168.1.198 node1

192.168.1.199 node2

192.168.1.200 node3

让配置生效，命令如下：

$ source /etc/hosts

到此三台服务器hosts解析配置完成。

5、时间同步

分别在三台服务器上执行以下命令：

$ yum install ntp ntpdate -y

$ ntpdate 0.asia.pool.ntp.org

$ hwclock --systohc

分别在三台服务器上增加时间同步定时任务，执行以下命令：

$ crontab -e

在定时任务配置文件中增加以下内容：

*/5 * * * * ntpdate 0.asia.pool.ntp.org

到此三台服务器时间同步配置完成。

6、配置python2.7环境

Ceph必须在有Python的环境下才能进行安装，这里我们配置Python2.7，分别在三台服务器上执行以下命令：

$ cd /tmp

$ wget https://files.pythonhosted.org/packages/ed/69/c805067de1feedbb98c53174b0f2df44cc05e0e9ee73bb85eebc59e508c6/setuptools-41.0.0.zip

$ wget https://files.pythonhosted.org/packages/36/fa/51ca4d57392e2f69397cd6e5af23da2a8d37884a605f9e3f2d3bfdc48397/pip-19.0.3.tar.gz

$ unzip setuptools-41.0.0.zip

$ cd setuptools-41.0.0

$ python setup.py install

$ tar zxf pip-19.0.3.tar.gz

$ cd pip-19.0.3

$ python setup.py install

到此三台服务器Python2.7环境配置完成。

7、配置免密登录

为了方便我们做集群部署，需要对deploy节点（192.168.1.198）配置免密登陆，在deploy节点（192.168.1.198）执行以下命令：

$ ssh-keygen -t rsa -P “”

$ ssh-copy-id 192.168.1.198

$ ssh-copy-id 192.168.1.199

$ ssh-copy-id 192.168.1.200

$ ssh node1

$ ssh node2

$ ssh node3

到此deploy（192.168.1.198）节点免密登录配置完成。

8、安装ceph

在deploy节点（192.168.1.198）执行以下命令：

$ yum -y install ceph-deploy

$ ceph-deploy --version

$ mkdir /ceph-install && cd /ceph-install/

$ ceph-deploy new node1 node2 node3

配置ceph.conf，执行以下命令：

$ vim ./ceph.conf

然后在上述文件中添加以下内容：

[global]

…

如果有多个网卡，应该配置如下选项，

public network是公共网络，负责集群对外提供服务的流量

cluster network是集群网络，负载集群中数据复制传输通信等

本次实验使用同一块网卡，生境环境建议分别使用一块网卡

public network = 192.168.1.0/24

cluster network = 192.168.1.0/24

在deploy节点（192.168.1.198）执行以下命令安装ceph并初始化mon监控，命令如下：

$ cd /ceph-install/

$ ceph-deploy install node1 node2 node3 --nogpgcheck

$ ceph-deploy --overwrite-conf config push node1 node2 node3

$ ceph-deploy --overwrite-conf mon create node1 node2 node3

$ ceph-deploy mon create-initial

然后我们需要把 /ceph-install/ 下的秘钥文件复制到 /etc/ceph/ 目录，这样才能在deploy节点（192.168.1.198）正常执行ceph集群命令，命令如下：

$ cd /ceph-install/

$ cp *.keyring /etc/ceph/

9、创建osd

我们在deploy节点（192.168.1.198）创建三台服务器的osd，命令如下：

ceph-deploy osd create node1 --data /dev/sdb

ceph-deploy osd create node2 --data /dev/sdb

ceph-deploy osd create node3 --data /dev/sdb

如果你每台机器上有三块硬盘，可以把第二块、第三块硬盘拿来创建osd，可以执行以下命令：

ceph-deploy osd create node1 --data /dev/sdb

ceph-deploy osd create node1 --data /dev/sdc

ceph-deploy osd create node2 --data /dev/sdb

ceph-deploy osd create node2 --data /dev/sdc

ceph-deploy osd create node3 --data /dev/sdb

ceph-deploy osd create node3 --data /dev/sdc

到此我们完成了三台服务器osd的创建。

10、同步admin密钥

我们的admin密钥存在于deploy节点，所以我们在deploy节点上执行以下命令：

$ ceph-deploy --overwrite-conf admin node1 node2 node3

到此我们同步了admin密钥到三台服务器上。

11、部署mgr

在deploy节点上执行以下命令：

$ ceph-deploy mgr create node1 node2 node3

到此我们完成了三台服务器的mgr部署。

注意：如果安装过程出错，使用以下命令清理之后重新开始：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习

已经将知识体系整理好（源码，笔记，PPT，学习视频）

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
！！（备注Java获取）**

最后

我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习

已经将知识体系整理好（源码，笔记，PPT，学习视频）

[外链图片转存中…(img-70h6KKU6-1713312041381)]

[外链图片转存中…(img-pDEUHzTC-1713312041381)]

[外链图片转存中…(img-UwA00eqi-1713312041382)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！