分布式存储
1、是一种独特的系统架构,由网络通信,为完成共同任务而协作工作计算机节点组成
2、用廉价的,普通的计算机完成单个计算机无法完成的计算,存储任务
3、利用更多的机器,处理更多的数据
分布式存储ceph特点
高可用,高可扩展,高性能
可以提供对象存储,块存储,文件系统存储
ceph可提供PB的存储空间
软件定义存储作为存储行业的一大发展趋势
ceph组件
OSDs 存储设备
Mon 集群监控
RadosGatway 对象存储网关
MDSs 存储访问系统元数据
Client 客户端
部署ceph集群
ceph-deploy 脚本
[root@node1 ~]# mkdir ceph-cluster
[root@node1 ~]# cd ceph-cluster/ 操作都在此目录下!!!!!!!!!![root@node1- ceph-cluster]#
当前目录下生成就集群配置文件,定义monitor主机是谁 COW分层快照的功能(默认不开启)
[root@node1- ceph-cluster]# ceph-deploy new node1- node2- node3-
[root@node1- ceph-cluster]# ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring
rbd_default_features = 1 开启COW分层快照的功能
ceph-deploy mon create-initial 将当前目录下配置文件拷贝给所有节点
[root@node1- ceph-cluster]# systemctl status ceph-mon@node1- 查看服务是否开启 其余虚拟机操作相同
常见错误
1、 主机名没改
2、只给node1-装包(必须给所有节点装包)
3、查服务是否开启 只查node1 -
4、yum源
不要频繁重启ceph 30分钟只能启3次,超过报错
#StartLimitInterval=30min
#StartLimitBurst=3
#在这个文件中有定义/usr/lib/systemd/system/ceph-osd@.service
#如果修改该文件,需要执行命令# systemctl daemon-reload重新加载配置
[root@node1- ceph-cluster]# ceph -s
cluster b1702737-a431-458a-aaae-ae3a4e6c70ea
health HEALTH_ERR
查看集群状态 (Mon端口号:6789)
创建osd
清空磁盘
[root@node1- ceph-cluster]# ceph-deploy disk zap node1-:sdb node1-:sdc node2-:sdb node2-:sdc node3-:sdb node3-:sdc
共享磁盘
[root@node1- ceph-cluster]# ceph-deploy osd createnode1-:sdb node1-:sdc node2-:sdb node2-:sdc node3-:sdb node3-:sdc
验证
[root@node1 ~]# df -Th
[root@node2 ~]# df -Th
[root@node3 ~]# df -Th
报错处理
使用osd create创建OSD存储空间时,如提示下面的错误提示:
[ceph_deploy][ERROR ] RuntimeError: bootstrap-osd keyring not found; run 'gatherkeys'
可以使用如下命令修复文件,重新配置ceph的密钥文件:
[root@node1 ceph-cluster]# ceph-deploy gatherkeys node1 node2 node3
[root@node1 ~]# ceph -s
[root@node1 ~]# ceph osd tree
常见错误
如果查看状态包含如下信息:
health: HEALTH_WARN
clock skew detected on node2, node3…
clock skew表示时间不同步,解决办法:请先将所有主机的时间都使用NTP时间同步!!!
Ceph要求所有主机时差不能超过0.05s,否则就会提示WARN。
如果状态还是失败,可以尝试执行如下命令,重启所有ceph服务:
[root@node1 ~]# systemctl restart ceph.target