Centos7上部署Ceph存储集群以及CephFS的安装

Ceph已然成为开源社区极为火爆的分布式存储开源方案，最近需要调研Openstack与Ceph的融合方案，因此开始了解Ceph，当然从搭建Ceph集群开始。

        我搭建机器使用了6台虚拟机，包括一个admin节点，一个monitor节点，一个mds节点，两个osd节点，一个client节点。机器的配置是：

> lsb_release -a

[python]  view plain  copy

1. LSB Version:    :core-4.1-amd64:core-4.1-noarch  
2. Distributor ID: CentOS  
3. Description:    CentOS Linux release 7.1.1503 (Core)   
4. Release:    7.1.1503  
5. Codename:   Core  

> uname -r

[python]  view plain  copy

1. 3.10.0-229.el7.x86_64  

下面开始逐步介绍。

0.集群安装前的准备工作

a）文件系统采用官方推荐的xfs(brtfs)

[python]  view plain  copy

1. >df  -T  
2. >umount -l /data（去掉挂载点）  
3. >mkfs.xfs -f /dev/vdb（强制转换文件系统）  
4. >mount /dev/vdb /data（重新挂载）  

b）规范系统主机名

[python]  view plain  copy

1. > hostnamectl set-hostname {name}  

c）添加hosts文件实现集群主机名与主机名之间相互能够解析（host 文件添加主机名不要使用fqdn方式）

d）选择合适的内核版本： http://docs.ceph.org.cn/start/os-recommendations

[python]  view plain  copy

1. > lsb_release -a   
2. > uname -r  

0.1 安装ceph部署工具：ceph-deploy

把软件包源加入软件仓库。用文本编辑器创建一个YUM(Yellowing Updater,Modified)库文件，其路径/etc/yum.repos.d/ceph.repo。例如：

> sudo vim /etc/yum.repos.d/ceph.repo

把如下内容粘帖进去，用 Ceph 的最新主稳定版名字替换   {ceph-stable-release}   （如   firefly   ），用你的Linux发行版名字替换   {distro}   （如   el6   为 CentOS 6 、   el7   为 CentOS 7 、   rhel6   为 Red Hat 6.5 、   rhel7   为 Red Hat 7 、   fc19   是 Fedora 19 、   fc20   是 Fedora 20 ）。最后保存到 /etc/yum.repos.d/ceph.repo   文件中。

[python]  view plain  copy

1. [ceph-noarch]  
2. name=Ceph noarch packages  
3. baseurl=http://download.ceph.com/rpm-{ceph-release}/{distro}/noarch   
4. enabled=1  
5. gpgcheck=1  
6. type=rpm-md  
7. gpgkey=https://download.ceph.com/keys/release.asc  

更新软件库并安装ceph-deploy：

[python]  view plain  copy

1. > sudo yum update && sudo yum install ceph-deploy  

0.2 每台 ssh-copy-id 完成这些服务器之间免ssh密码登录；

注：很多资料说是用ssh-copy-id，笔者尝试并不work，就将admin的key添加到其他机器上去即可。

0.3 配置ntp服务

[python]  view plain  copy

1. # yum -y install ntp ntpdate ntp-doc  
2. # ntpdate 0.us.pool.ntp.org  
3. # hwclock --systohc  
4. # systemctl enable ntpd.service  
5. # systemctl start ntpd.service  

0.4 关闭防火墙或者开放 6789/6800~6900端口、关闭SELINUX

[python]  view plain  copy

1. # sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config  
2. # setenforce 0  

打开 Ceph 需要的端口

[python]  view plain  copy

1. # yum -y install firewalld  
2. # firewall-cmd --zone=public --add-port=6789/tcp --permanent  
3. # firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent  
4. # firewall-cmd --reload  

1.集群角色分配：

[python]  view plain  copy

1. 10.221.83.246   ceph-adm-node  
2. 10.221.83.247   ceph-mon-node  
3. 10.221.83.248   ceph-mds-node  
4. 10.221.83.249   ceph-osd-node1  
5. 10.221.83.250   ceph-osd-node2  
6. 10.221.83.251   ceph-client-node  

2.部署monitor服务

2.1 创建目录

[python]  view plain  copy

1. mkdir  -p  ~/my-cluster  
2. cd  ~/my-cluster  

hints： ceph-deploy会把文件输出到当前目录，所以请确保在此目录下执行ceph-deploy

2.2 创建monitor节点：

[python]  view plain  copy

1. >ceph-deploy new  ceph-mon-node  

hints ：当前目录下ls会有一个Ceph配置文件、一个monitor密钥环和一个日志文件

>ceph.conf >ceph.log >ceph.mon.keyring

2.3 修改副本数

把Ceph配置文件的默认副本数从3改成2，这样只有两个osd也能达到active+clean状态，把下面这行加入到[global]段：

[python]  view plain  copy

1. > osd pool default size = 2  

2.4 在所有节点安装ceph

[python]  view plain  copy

1. >ceph-deploy install ceph-adm-node ceph-mon-node ceph-mds-node ceph-osd-node1 ceph-osd-node2 ceph-client-node  

2.5 安装ceph monitor

[python]  view plain  copy

1. >ceph-deploy mon create ceph-mon-node  

解决方法： 通过"hostnamectl set-hostname {name}"命令将所有主机名设置成与/etc/hosts里面对应的主机名一致。

2.6 收集各个节点的keyring文件

[python]  view plain  copy

1. >ceph-deploy gatherkeys ceph-mon-node  

3.部署osd服务

3.1 添加osd节点（所有osd节点执行）

[python]  view plain  copy

1. ssh ceph-osd-node{id}  
2. mkdir -p /var/local/osd{id}  
3. exit  

3.2 激活osd

[python]  view plain  copy

1. #创建osd  
2. ceph-deploy osd prepare ceph-osd-node1:/var/local/osd1  ceph-osd-node2:/var/local/osd2   
3. #激活osd  
4. ceph-deploy osd activate ceph-osd-node1:/var/local/osd1 ceph-osd-node2:/var/local/osd2   

prepare->activate会出现上述问题，主要问题是：

根本就没有命令：systemctl enable  ceph-osd@0.service 

应该是：systemctl status/start  ceph-osd@0.service

解决方案，直接create来代替prepare和activate命令：

[python]  view plain  copy

1. ceph-deploy osd create ceph-osd-node1:/var/local/osd1 ceph-osd-node2:/var/local/osd2   

查看状态：

ceph-deploy osd list ceph-osd-node1 ceph-osd-node2

[python]  view plain  copy

1. [ceph-osd-node1][INFO  ] Running command: /usr/sbin/ceph-disk list  
2. [ceph-osd-node1][INFO  ] ----------------------------------------  
3. [ceph-osd-node1][INFO  ] ceph-0  
4. [ceph-osd-node1][INFO  ] ----------------------------------------  
5. [ceph-osd-node1][INFO  ] Path           /var/lib/ceph/osd/ceph-0  
6. [ceph-osd-node1][INFO  ] ID             0  
7. [ceph-osd-node1][INFO  ] Name           osd.0  
8. [ceph-osd-node1][INFO  ] Status         up  
9. [ceph-osd-node1][INFO  ] Reweight       1.0  
10. [ceph-osd-node1][INFO  ] Active         ok  
11. [ceph-osd-node1][INFO  ] Magic          ceph osd volume v026  
12. [ceph-osd-node1][INFO  ] Whoami         0  
13. [ceph-osd-node1][INFO  ] Journal path   /var/local/osd1/journal  
14. [ceph-osd-node1][INFO  ] ----------------------------------------  

[python]  view plain  copy

1. [ceph-osd-node2][INFO  ] Running command: /usr/sbin/ceph-disk list  
2. [ceph-osd-node2][INFO  ] ----------------------------------------  
3. [ceph-osd-node2][INFO  ] ceph-1  
4. [ceph-osd-node2][INFO  ] ----------------------------------------  
5. [ceph-osd-node2][INFO  ] Path           /var/lib/ceph/osd/ceph-1  
6. [ceph-osd-node2][INFO  ] ID             1  
7. [ceph-osd-node2][INFO  ] Name           osd.1  
8. [ceph-osd-node2][INFO  ] Status         up  
9. [ceph-osd-node2][INFO  ] Reweight       1.0  
10. [ceph-osd-node2][INFO  ] Active         ok  
11. [ceph-osd-node2][INFO  ] Magic          ceph osd volume v026  
12. [ceph-osd-node2][INFO  ] Whoami         1  
13. [ceph-osd-node2][INFO  ] Journal path   /var/local/osd2/journal  
14. [ceph-osd-node2][INFO  ] ----------------------------------------  

3.3 统一配置（用ceph-deploy把配置文件和admin密钥拷贝到管理节点和ceph节点，这样每次执行Ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring了 ）

[python]  view plain  copy

1. > ceph-deploy admin ceph-*（all ceph node）  
2. > 例如：ceph-deploy admin ceph-osd-node1 ceph-osd-node2 ceph-mon-node ceph-mds-node ceph-client-node  

3.4 修改ceph.client.admin.keyring权限：

>   chmod +r /etc/ceph/ceph.client.admin.keyring

3.5 检查是否成功：

> 将keyring文件移动到到/etc/ceph下面：mv *.keyring /etc/ceph

> ceph health

等peering完成后，集群应该达到active+clean状态。

3.6 查看osd状态

> ceph-disk activate-all

4.部署msd服务

[python]  view plain  copy

1. > ceph-deploy mds create ceph-mds-node  

报错：

原因：在mds机器ceph-mds-node上面没有找到ceph-mds@ceph-mds-node.service。

解决方案：在ceph-mds-node机器上： cp  ceph-mds@.service   ceph-mds@ceph-mds-node.service

5.集群验证

5.1 验证mds节点

> ps -ef | grep mds

> ceph mds stat

> ceph mds dump

5.2 验证mon节点

> ps -ef | grep mon

5.3 验证osd节点

> ps -ef | grep osd

5.4 集群状态

> ceph -s

以上基本上完成了ceph存储集群的搭建，那么现在就需要进一步对特定的存储方式进行配置。

6.创建ceph文件系统

6.1 在管理节点，通过ceph-deploy把ceph安装到ceph-client节点上

[python]  view plain  copy

1. > ceph-deploy install ceph-client-node  

6.2 创建文件系统（http://docs.ceph.org.cn/cephfs/createfs/）

创建之前：

[python]  view plain  copy

1. > ceph osd pool create cephfs_data <pg_num>  
2. > ceph osd pool create cephfs_metadata <pg_num>  
3. > ceph fd new <fs_name> cephfs_metadata cephfs_data  

其中：<pg_num> = 128 , <fs_name> = cephfs

创建之后：

> ceph fs ls

> ceph mds stat

> ceph -s

7.挂载ceph文件系统

7.0 在管理节点使用ceph-deploy拷贝ceph配置文件以及ceph.client.admin.keyring到ceph-client-node上面：

[python]  view plain  copy

1. >ceph-deploy admin ceph-client-node  

修改keyring文件权限：

[python]  view plain  copy

1. > sudo chmod +r /etc/ceph/ceph.client.admin.keyring  

monitor ip： 10.221.83.247

7.1  内核驱动挂载Ceph文件系统

7.1.1 创建挂载点

> sudo mkdir -p /mnt/mycephfs1

7.1.2 存储密钥

>  cat /etc/ceph/ceph.client.admin.keyring 

将key对应的值复制下来保存到文件：/etc/ceph/admin.secret中。

7.1.3 挂载

>  sudo mount -t ceph 10.221.83.247:6789:/  /mnt/mycephfs1 -o name=admin,secretfile=/etc/ceph/admin.secret

7.1.4 取消挂载

> sudo umount -l /mnt/mycephfs1

7.2 用户控件挂载Ceph文件系统

7.2.1 创建挂载点

[python]  view plain  copy

1. > sudo mkdir -p /mnt/mycephfs2  

7.2.2 安装ceph-fuse

[python]  view plain  copy

1. > sudo yum install -y ceph-fuse  

7.2.3 挂载

[python]  view plain  copy

1. > sudo ceph-fuse -m 10.221.83.247:6789  /mnt/mycephfs2  

7.2.4 取消挂载

[python]  view plain  copy

1. > fusermount -u /mnt/mycephfs2/  

其他：

清理机器上的ceph相关配置：

停止所有进程：sudo stop ceph-all

卸载所有ceph程序：ceph-deploy uninstall [{ceph-node}]

删除ceph相关的安装包：ceph-deploy purge {ceph-node} [{ceph-data}]

删除ceph相关的配置：ceph-deploy purgedata {ceph-node} [{ceph-data}]

删除key：ceph-deploy forgetkeys

卸载ceph-deploy管理：

yum -y remove ceph-deploy