Ceph RBD为Kubernetes集群提供分布式数据存储

一、环境和准备条件

两台虚拟机：Ubuntu 14.04.41LTS，ip分别是192.168.110.151（hostname是master）和192.168.110.152（hostname是dockertest4）

Ceph采用当前Ubuntu 14.04源中最新的Ceph LTS版本：JEWEL10.2.3。

Kubernetes版本为上次安装时的1.4版本。

二、Ceph安装原理

Ceph分布式存储集群由若干组件组成，包括：Ceph Monitor、Ceph OSD和Ceph MDS，其中如果你仅使用对象存储和块

存储时，MDS不是必须的（本次我们也不需要安装MDS），仅当你要用到Cephfs时，MDS才是需要安装的。

Ceph的安装模型与k8s有些类似，也是通过一个deploy node远程操作其他Node以create、prepare和activate各个Node上

的Ceph组件，官方手册中给出的示意图如下：

三、在151机器上安装ceph-deploy

1.配置apt-get源

#wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
 OK 
# echo deb https://download.ceph.com/debian-jewel/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list 

2.更新apt-get

apt-get update

3.安装ceph-deploy

apt-get install ceph-deploy

注意：ceph-deploy只需要在admin/deploy node上安装即可。

四、151和152两台机器配置无密码登录

1. 将这一账号命名为cephd，我们需要在每个ceph node上(包括admin node/deploy node)都建立一个cephd用户，并加

入到sudo组中

以下命令分别在151和152两台虚拟机上执行：

useradd -d /home/cephd -m cephd

passwd cephd

添加sudo权限：

echo "cephd ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephd

sudo chmod 0440 /etc/sudoers.d/cephd

2.在admin node(deploy node)上，登入cephd账号，创建该账号下deploy node到其他各个Node的ssh免密登录设

置，密码留空：

在deploy node上执行：

$ ssh-keygen

3.秘钥拷贝

将deploy node的公钥copy到自己和152上去：

$ ssh-copy-id cephd@master

$ ssh-copy-id cephd@dockertest4

4.最后，在Deploy node上创建并编辑~/.ssh/config，这是Ceph官方doc推荐的步骤，这样做的目的是可以避免每次

执行ceph-deploy时都要去指定 –username {username}参数。

//~/.ssh/config
Host master
   Hostname master
   User cephd
Host dockertest4
   Hostname dockertest4
   User cephd

五、如果之前安装过ceph，可以先执行如下命令以获得一个干净的环境：（在151上执行如下命令）

ceph-deploy purge master dockertest4

ceph-deploy forgetkeys

ceph-deploy purgedata master dockertest4

六、创建工作目录

在151上，建立cephinstall目录，然后进入cephinstall目录执行相关步骤。

七、安装ceph步骤

1.首先来创建一个ceph cluster，这个环节需要通过执行ceph-deploy new {initial-monitor-node(s)}命令。按照上面的

安装设计，我们的ceph monitor node就是master，因此我们执行下面命令来创建一个名为ceph的ceph cluster：执行

如下命令

sudo ceph-deploy new master

2.new命令执行完后，ceph-deploy会在当前目录下创建一些辅助文件：

# ls

ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring

$ cat ceph.conf

[global]

fsid = f5166c78-e3b6-4fef-b9e7-1ecf7382fd93

mon_initial_members = master

mon_host = 192.168.110.151

auth_cluster_required = cephx

auth_service_required = cephx

auth_client_required = cephx

3.由于我们仅有两个OSD节点，因此我们在进一步安装之前，需要先对ceph.conf文件做一些配置调整：修改配置以

进行后续安装：