Ceph实战（二）-高可用集群部署，hadoop集群搭建完整教程

[Ceph-noarch]

name=Ceph noarch packages

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc

[ceph-source]

name=Ceph source packages

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc

3、配置主机名

分别在三台服务器上修改主机名，登录192.168.1.198服务器，执行以下命令：

$ hostnamectl set-hostname node1

登录192.168.1.199服务器，执行以下命令

$ hostnamectl set-hostname node2

登录192.168.1.200服务器，执行以下命令：

$ hostnamectl set-hostname node3

到此三台服务器主机名修改完成。

4、配置hosts解析

分别在三台服务器上执行以下命令：

$ vim /etc/hosts

在上述文件中增加以下内容：

192.168.1.198 node1

192.168.1.199 node2

192.168.1.200 node3

让配置生效，命令如下：

$ source /etc/hosts

到此三台服务器hosts解析配置完成。

5、时间同步

分别在三台服务器上执行以下命令：

$ yum install ntp ntpdate -y

$ ntpdate 0.asia.pool.ntp.org

$ hwclock --systohc

分别在三台服务器上增加时间同步定时任务，执行以下命令：

$ crontab -e

在定时任务配置文件中增加以下内容：

*/5 * * * * ntpdate 0.asia.pool.ntp.org

到此三台服务器时间同步配置完成。

6、配置python2.7环境

Ceph必须在有Python的环境下才能进行安装，这里我们配置Python2.7，分别在三台服务器上执行以下命令：

$ cd /tmp

$ wget https://files.pythonhosted.org/packages/ed/69/c805067de1feedbb98c53174b0f2df44cc05e0e9ee73bb85eebc59e508c6/setuptools-41.0.0.zip

$ wget https://files.pythonhosted.org/packages/36/fa/51ca4d57392e2f69397cd6e5af23da2a8d37884a605f9e3f2d3bfdc48397/pip-19.0.3.tar.gz

$ unzip setuptools-41.0.0.zip

$ cd setuptools-41.0.0

$ python setup.py install

$ tar zxf pip-19.0.3.tar.gz

$ cd pip-19.0.3

$ python setup.py install

到此三台服务器Python2.7环境配置完成。

7、配置免密登录

为了方便我们做集群部署，需要对deploy节点（192.168.1.198）配置免密登陆，在deploy节点（192.168.1.198）执行以下命令：

$ ssh-keygen -t rsa -P “”

$ ssh-copy-id 192.168.1.198

$ ssh-copy-id 192.168.1.199

$ ssh-copy-id 192.168.1.200

$ ssh node1

$ ssh node2

$ ssh node3

到此deploy（192.168.1.198）节点免密登录配置完成。

8、安装ceph

在deploy节点（192.168.1.198）执行以下命令：

$ yum -y install ceph-deploy

$ ceph-deploy --version

$ mkdir /ceph-install && cd /ceph-install/

$ ceph-deploy new node1 node2 node3

配置ceph.conf，执行以下命令：

$ vim ./ceph.conf

然后在上述文件中添加以下内容：

[global]

…

如果有多个网卡，应该配置如下选项，

public network是公共网络，负责集群对外提供服务的流量

cluster network是集群网络，负载集群中数据复制传输通信等

本次实验使用同一块网卡，生境环境建议分别使用一块网卡

public network = 19

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

2.168.1.0/24

cluster network = 192.168.1.0/24

在deploy节点（192.168.1.198）执行以下命令安装ceph并初始化mon监控，命令如下：

$ cd /ceph-install/

$ ceph-deploy install node1 node2 node3 --nogpgcheck

$ ceph-deploy --overwrite-conf config push node1 node2 node3

$ ceph-deploy --overwrite-conf mon create node1 node2 node3

$ ceph-deploy mon create-initial

然后我们需要把 /ceph-install/ 下的秘钥文件复制到 /etc/ceph/ 目录，这样才能在deploy节点（192.168.1.198）正常执行ceph集群命令，命令如下：

$ cd /ceph-install/

$ cp *.keyring /etc/ceph/

9、创建osd

我们在deploy节点（192.168.1.198）创建三台服务器的osd，命令如下：

ceph-deploy osd create node1 --data /dev/sdb

ceph-deploy osd create node2 --data /dev/sdb

ceph-deploy osd create node3 --data /dev/sdb

如果你每台机器上有三块硬盘，可以把第二块、第三块硬盘拿来创建osd，可以执行以下命令：

ceph-deploy osd create node1 --data /dev/sdb

ceph-deploy osd create node1 --data /dev/sdc

ceph-deploy osd create node2 --data /dev/sdb

ceph-deploy osd create node2 --data /dev/sdc

ceph-deploy osd create node3 --data /dev/sdb

ceph-deploy osd create node3 --data /dev/sdc

到此我们完成了三台服务器osd的创建。

10、同步admin密钥

我们的admin密钥存在于deploy节点，所以我们在deploy节点上执行以下命令：

$ ceph-deploy --overwrite-conf admin node1 node2 node3

到此我们同步了admin密钥到三台服务器上。

11、部署mgr

在deploy节点上执行以下命令：

$ ceph-deploy mgr create node1 node2 node3

到此我们完成了三台服务器的mgr部署。

注意：如果安装过程出错，使用以下命令清理之后重新开始：

$ ceph-deploy purge lab1 lab2 lab3

$ ceph-deploy purgedata lab1 lab2 lab3

$ ceph-deploy forgetkeys

$ rm ceph.*

三、验证

---

我们通过执行以下命令查看集群部署情况，命令如下：

$ ceph -s