ceph-ansible图形化方式部署分布式存储——筑梦之路

集群规划

主机名	IP	CPU	内存	磁盘	集群角色
installer.ceph.com	192.168.10.40	4	4GB	30GB	ceph客户端
mon1.ceph.com	192.168.10.41	4	4GB	30GB	MON
mon2.ceph.com	192.168.10.42	4	4GB	30GB	MON
mon3-ceph.com	192.168.10.43	4	4GB	30GB	MON
osd1.ceph.com	192.168.10.44	4	4GB	30GB	OSD
osd2.ceph.com	192.168.10.45	4	4GB	30GB	OSD
osd3.ceph.com	192.168.10.46	4	4GB	30GB	OSD
metrics.ceph.com	192.168.10.47	4	4GB	30GB	Metrics
rgw-mds.ceph.com	192.168.10.48	4	4GB	30GB	RGW/MDS

基础环境说明：

每个节点安装两个网卡
每个节点安装ansible-2.9
配置好hosts和免密登录
关闭防火墙和selinux

#第一台上操作

yum install -y docker cockpit git epel-release
systemctl enable docker.service
systemctl start docker.service
cd /usr/share
git clone --branch stable-4.0 https://github.com/ceph/ceph-ansible.git
cd ceph-ansible
cp site.yml.sample site.yml
cp site-container.yml.sample site-container.yml

cd ~
sudo git clone https://github.com/red-hat-storage/cockpit-ceph-installer.git
cd cockpit-ceph-installer
ln -snf ~/cockpit-ceph-installer/dist /usr/share/cockpit/cockpit-ceph-installer
systemctl restart cockpit.socket
cp utils/ansible/checkrole.yml /usr/share/ceph-ansible
cp utils/ansible/library/ceph_check_role.py /usr/share/ceph-ansible/library/

#安装
cd utils/
./ansible-runner-service.sh -s -v

#检查ansible-runner服务是否正常启动
docker ps

#检查Cockpit是否正常启动
systemctl start cockpit
systemctl status cockpit

web访问来安装：192.168.10.40:9090

 左侧可以看到Ceph Installer的页面

配置参考：

 

#如果出现结果不是ok，注意使用以下命令传递公钥
#
for i in mon1 mon2 mon3 osd1 osd2 osd3 metrics rgw-mds
do 
ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub $i  
done

 依次加入节点，确保所有的节点状态都是OK

点击Probe Hosts探测机器，需要多等待一会使结果出来（如果仍不出结果，可以重启docker）,我这里使用虚拟机，配置较低，忽略配置较低警告

 

 点击deploy，系统开始调用playbook自动安装所需组件

安装报错，如果是ansible的版本问题，需要升级
 

docker exec -it runner-service bash 

ansible --version

cd /usr/share/ceph-ansible/
pip3 install -r requirements.txt --default-timeout=3000

## 备用
#pip3 install ansible==2.9 -i https://mirrors.aliyun.com/pypi/simple/

在网页上执行Retry后，程序将继续进行安装，耐心等待安装

 注意网页上的提示，有登录的账号的密码，记下备用

客户端访问：

客户端机器上操作

yum -y install centos-release-ceph-nautilus.noarch
yum -y install ceph-common
scp mon1:/etc/ceph/ceph.conf /etc/ceph
scp mon1:/etc/ceph/ceph.client.admin.keyring /etc/ceph
ceph -s

ceph config set mon auth_allow_insecure_global_id_reclaim false

 网页访问：

使用ip地址访问mon1，注意要使用https，用户名admin，密码为之前预设的密码

 

 使用metrics:3000端口，可访问grafana，查看集群的各项目指标

 

使用metrics:9092端口，可访问prometheus，查看集群的监控指标