ceph分布式存储

1.原理

分布式文件系统（Distributed File System）：文件系统管理的物理存储资源不一定直接连接在本机节点上，而是通过计算机网络与节点相连（把分散在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）

2. ceph

开元、统一的分布式存储系统，提供较好的性能、可靠性和可拓展性

优点：良好的可拓展性（PB级别以上）、高性能、高可靠性

起源于加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统

3.ceph支持的存储方式

3.1块存储（硬盘）

i/o 设备中的一类，将信息存储在固定大小的块中，每个块都有自己的地址，可以在块设备的任意位置读取一定长度的数据

3.1.1 怎么有的叫sda，有的叫sdb，有的叫hda

以sd开头的块设备文件对应的是scsi接口的硬盘
以hd开头的块设备文件对应的是IDE接口的硬盘
当系统检测到多个scsi硬盘时，会根据检测到的顺序对硬盘设备将那些字母顺序的命名
注：系统按检测顺序命名硬盘会导致盘符漂移的问题

3.1.2 怎么有的叫rbd1和rbd2

rbd由ceph集群提供出来的块设备
sda和hda都是通过数据线连接到真实的硬盘，而rbd是通过网络连接到ceph集群中的一块存储区域，往rbd设备文件写入数据，最终会被保存到ceph集群的这块区域区域中

3.1.3 总结

块设备可理解成一块硬盘，用户可以直接使用不含文件系统的块设备（裸设备），也可以将其格式化成特定的文件系统，由文件系统来组织管理存储空间，从而为用户提供丰富而友好的数据操作支持
块存储，即rbd，有 kernel 和 librbd 两种使用方式，支持快照、克隆，相当于一块硬盘挂载到本地，用法和用途一样

3.2文件存储系统

ceph文件系统（CEPH FS）是一个POSIX兼容的文件系统，可以将ceph集群看作一个共享文件系统挂载到本地，使用ceph的存储集群来存储数据，同时支持用户空间文件系统FUSE，可以像NFS或者SAMBA那样，提供共享文件夹，客户端通过挂载目录的方式使用ceph提供的存储
在CEPH FS 中，与对象存与块存储最大的不同就是在集群中增加了文件系统元数据服务节点MDS（Ceph Metadata Server），MDS也支持多台机器分布式的部署，以实现系统的高可用性，文件系统客户端需要安装对应的Linux内核模块Ceph FS Kernel Object或者Ceph FS FUSE组件

因为应用场景的不同，ceph的块设备具有优异的读写性能，但不能多出挂载同时读写，目前主要用在OpenStackk上作为虚拟磁盘，而ceph的文件系统接口读写性能较块设备接口差，但具有优异的共享性
文件系统的结构状态时维护在各用户机中

如上图：
假设ceph块设备同时挂载到用户机1和用户机2，当在用户机1上的文件系统写入数据后，更新了用户机1中的文件系统状态，最终数据保存到了ceph集群中，但此时用户机2中的文件系统并不能得知底层ceph集群数据已经变化而位置数据结构不变，用因此用户无法从用户机2上读取用户机1上新写入的数据

如上图：
文件系统的结构状态是维护在远端ceph集群中的，ceph文件系统同时挂载用户机1和用户机2，当往用户机1的挂载点写入数据后，远端ceph集群中的系统文件状态结构随之更新，当从用户机2的挂载点访问数据时会去远端ceph集群取数据，由于远端ceph集群已更新，用户机2能够获取最新的数据

3.2.1总结

ceph的文件系统弥补了ceph的块设备在共享方面的不足，ceph的文件系统符合POSIX 标准，用户就可以像使用本地存储目录一样使用ceph的文件系统的挂载目录，即无需修改你