Ceph+nfs部署及使用

部署环境

五台装有CentOS 7.3的主机，不建议使用最新版的，源经常出现超时，个人推荐使用7.3,ip分别为192.168.1.56,192.168.1.182、192.168.1.183、192.168.1.184、192.168.1.185

1. 升级内核

使用uname -r 查看内核版本，官方建议使用最新内核版本

[root@admin-node ~]# uname -r

3.10.0-514.el7.x86_64

1. 建立本地软件仓库

[root@admin-node ~]#  rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

1. 安装最新内核repo包

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm

1. yum安装最新的内核包

[root@admin-node ~]# yum --enablerepo=elrepo-kernel install kernel-ml -y

1. 修改启动配置文件，启动项设置0

[root@admin-node ~]#sed -i 's/GRUB_DEFAULT=saved/GRUB_DEFAULT=0/g' /etc/default/grub

1. 重新加载内核配置文件

[root@admin-node ~]grub2-mkconfig -o /boot/grub2/grub.cfg

1. 重启后再次输入uname -r

[root@admin-node ~]# uname -r

4.13.12-1.el7.elrepo.x86_64

1、每台主机有三个磁盘(虚拟机磁盘要大于100G),详细信息如下：

[root@admin-node ~]# cat /etc/redhat-release

CentOS Linux release 7.3.1611 (Core)

[root@admin-node ~]# lsblk

 NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sdd      8:48   0  100G  0 disk

sdb      8:16   0  100G  0 disk

sr0     11:0    1  4.1G  0 rom 

fd0      2:0    1    4K  0 disk

sdc      8:32   0  100G  0 disk

sda      8:0    0   20G  0 disk

└─sda1   8:1    0   20G  0 part /

[root@admin-node ~]# cat /etc/hosts

192.168.1.56 admin-node

192.168.1.182 node1

192.168.1.183 node2

192.168.1.184 node3

192.168.1.185 node4

2、集群配置如下：

主机	IP	环境
Node-admin	192.168.1.56	1 * ceph-depoly 1 * mon 3 osd
Node1	192.168.1.182	1 * mon 3 osd
Node2	192.168.1.183	1 * mon 3 osd
Node3	192.168.1.184	1 * mon 3 osd nfs服务器
Node4	192.168.1.185	1 * mon 3 osd

 

3、环境清理

 

如果之前部署失败了，不必删除ceph客户端，或者重新搭建虚拟机，只需要在每个节点上执行如下指令即可将环境清理至刚安装完ceph客户端时的状态！强烈建议在旧集群上搭建之前清理干净环境，否则会发生各种异常情况。

ps aux|grep ceph |awk '{print $2}'|xargs kill -9

ps -ef|grep ceph

#确保此时所有ceph进程都已经关闭！！！如果没有关闭，多执行几次。

umount /var/lib/ceph/osd/*

rm -rf /var/lib/ceph/osd/*

rm -rf /var/lib/ceph/mon/*

rm -rf /var/lib/ceph/mds/*

rm -rf /var/lib/ceph/bootstrap-mds/*

rm -rf /var/lib/ceph/bootstrap-osd/*

rm -rf /var/lib/ceph/bootstrap-rgw/*

rm -rf /var/lib/ceph/tmp/*

rm -rf /etc/ceph/*

rm -rf /var/run/ceph/*

或者使用命令卸载ceph服务和清除配置

ceph-deploy purge 节点名

 

4、推荐使用阿里云源

 

需要在每个主机上执行以下指令

yum clean all

rm -rf /etc/yum.repos