分布式存储

分布式存储
1、是一种独特的系统架构，由网络通信，为完成共同任务而协作工作计算机节点组成
  2、用廉价的，普通的计算机完成单个计算机无法完成的计算，存储任务
  3、利用更多的机器，处理更多的数据

分布式存储ceph特点
 高可用，高可扩展，高性能
可以提供对象存储，块存储，文件系统存储
ceph可提供PB的存储空间
软件定义存储作为存储行业的一大发展趋势

ceph组件
 OSDs   存储设备
 Mon 集群监控
 RadosGatway 对象存储网关 
 MDSs 存储访问系统元数据
 Client 客户端
部署ceph集群

ceph-deploy 脚本
[root@node1 ~]#  mkdir ceph-cluster
[root@node1 ~]#  cd ceph-cluster/ 操作都在此目录下！！！！！！！！！！[root@node1- ceph-cluster]#
当前目录下生成就集群配置文件，定义monitor主机是谁 COW分层快照的功能（默认不开启）
[root@node1- ceph-cluster]#  ceph-deploy new node1- node2- node3-
[root@node1- ceph-cluster]# ls
                               ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring
rbd_default_features = 1    开启COW分层快照的功能
ceph-deploy mon create-initial 将当前目录下配置文件拷贝给所有节点
[root@node1- ceph-cluster]# systemctl status ceph-mon@node1- 查看服务是否开启 其余虚拟机操作相同

常见错误
 1、 主机名没改
 2、只给node1-装包（必须给所有节点装包）
 3、查服务是否开启   只查node1 -
 4、yum源
 不要频繁重启ceph 30分钟只能启3次，超过报错
#StartLimitInterval=30min
#StartLimitBurst=3
#在这个文件中有定义/usr/lib/systemd/system/ceph-osd@.service
#如果修改该文件，需要执行命令# systemctl  daemon-reload重新加载配置

[root@node1- ceph-cluster]# ceph -s
    cluster b1702737-a431-458a-aaae-ae3a4e6c70ea
     health HEALTH_ERR
查看集群状态  （Mon端口号：6789）

创建osd
清空磁盘
[root@node1- ceph-cluster]# ceph-deploy disk zap node1-:sdb  node1-:sdc node2-:sdb node2-:sdc node3-:sdb node3-:sdc

共享磁盘
[root@node1- ceph-cluster]# ceph-deploy osd createnode1-:sdb  node1-:sdc node2-:sdb node2-:sdc node3-:sdb node3-:sdc
验证
[root@node1 ~]# df -Th
[root@node2 ~]# df -Th
[root@node3 ~]# df -Th
报错处理

使用osd create创建OSD存储空间时，如提示下面的错误提示：
[ceph_deploy][ERROR ] RuntimeError: bootstrap-osd keyring not found; run 'gatherkeys'
可以使用如下命令修复文件，重新配置ceph的密钥文件：
[root@node1 ceph-cluster]#  ceph-deploy gatherkeys node1 node2 node3

[root@node1 ~]#  ceph  -s
[root@node1 ~]#  ceph   osd   tree

常见错误

如果查看状态包含如下信息：

health: HEALTH_WARN
        clock skew detected on  node2, node3…  
clock skew表示时间不同步，解决办法：请先将所有主机的时间都使用NTP时间同步！！！

Ceph要求所有主机时差不能超过0.05s，否则就会提示WARN。

如果状态还是失败，可以尝试执行如下命令，重启所有ceph服务：

[root@node1 ~]#  systemctl restart ceph.target