Ceph分布式存储架构

Ceph分布式存储架构搭建
分布式的原理：
分布式文件系统( Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网内各个计算机上)共享文件夹，集合到一个文件夹内(虚拟共享文件夹)。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户感觉不到这些共享文件是分散于各个计算机上的。分布式文件系统的好处是集中访问、简化操作、数据容灾，以及提高文件的存取性能。
ceph支持的3种存储方式
1、块存储
首先，什么是块设备？块设备是i/o设备中的一类，是将信息存储在固定大小的块中，每个块都有自己的地址，还可以在块设备的任意位置读取一定长度的数据。例如，硬盘就是块设备。
查看下Linux环境中的设备：
[root@localhost ~]# ls /dev/
/dev/sda dev/sda1 /dev/sda2 /dev/sdb /dev/sdb1 /dev/hda
/dev/rbd1 /dev/rbd2 …
块存储，即rbd。有kernel rbd和librbd两种使用方式。支持快照、克隆。相当于一块硬盘挂到本地，用法和用途和硬盘一样。比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的后端存储
2、文件系统存储
Ceph文件系统（CEPH FS）是一个POSIX兼容的文件系统，可以将ceph集群看做一个共享文件系统挂载到本地，使用Ceph的存储集群来存储其数据，同时支持用户空间文件系统FUSE。它可以像 NFS 或者 SAMBA 那样，提供共享文件夹，客户端通过挂载目录的方式使用 Ceph 提供的存储。

Ceph的文件系统弥补了Ceph的块设备在共享性方面的不足，Ceph的文件系统符合POSIX标准，用户可以像使用本地存储目录一样使用Ceph的文件系统的挂载目录，即无需修改你的程序，就可以将程序的底层存储换成空间无限并可多处共享读写的Ceph集群文件系统

什么是对象存储

1）对象存储，也就是键值存储，通过其接口指令，也就是简单GET、PUT、DEL和其他扩展指令，向存储服务上传下载数据等
2）对象存储中所有数据都被认为是一个对象。所以，任何数据都可以存入对象存储服务器，如图片、视频、音频等
Ceph 对象存储的构成
Ceph 对象存储主要是通过RGW来实现，那么什么是 RGW 呢？
1）RGW 即 Rados Gateway 的全称。
2）RGW 是 Ceph 对象存储网关，用于向客户端应用程序提供存储界面，提供 RESTful API 访问接口。
3）RGW 可以部署多台做为 高可用和负载均衡
目前Ceph支持两种API接口：
(1) S3.compatible：S3兼容的接口，提供与Amazon S3大部分RESTfuI API接口兼容的API接口。
(2) Swift.compatible：提供与OpenStack Swift大部分接口兼容的API接口。
Ceph的块设备存储具有优异的存储性能但不具有共享性，而Ceph的文件系统具有共享性，然而性能较块设备存储差，对象存储具有共享性而存储性能好于文件系统存储的存储，对象存储就这样出现了。
总结一下，文件系统存储具有复杂的数据组织结构，能够提供给用户更加丰富的数据操作接口，而对象存储精简了数据组织结构，提供给用户有限的数据操作接口，以换取更好的存储性能。对象接口提供了REST API，非常适用于作为web应用的存储。
Ceph相比其它分布式存储有哪些优点？
1. 统一存储
Ceph支持三种调用接口：对象存储，块存储，文件系统挂载。三种方式可以一同使用。在国内一些公司的云环境中，通常会采用ceph作为openstack的唯一后端存储来提升数据转发效率。所以在开源存储软件中，能够一统江湖。
2.CRUSH算法
Crush算法是ceph的两大创新之一，简单来说，ceph摒弃了传统的集中式存储元数据寻址的方案，转而使用CRUSH算法完成数据的寻址操作。CRUSH在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。Crush算法有相当强大的扩展性，理论上支持数千个存储节点。
3. 高扩展性
扩容方便、容量大。能够管理数千台服务器、EB级的容量。 可靠性强（即高可用性） Ceph中的数据副本数量可以由管理员自行定义，副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自管理、自动修复。无单点故障，容错性强。
4. 高性能
因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的IOPS和吞吐量越高。另外一点ceph客户端读写数据直接与存储设备(osd) 交互。
ceph生产环境推荐
1、存储集群采用全万兆网络
2、集群网络(不对外)与公共网络分离(使用不同网卡)
3、mon、mds与osd分离部署在不同机器上
4、journal推荐使用SSD,一般企业级IOPS可达40万以上
5、OSD使用SATA亦可
6、根据容量规划集群
7、至强E5 2620 V3或以上cpu,64GB或更高内存
8、最后，集群主机分散部署，避免机柜故障(电源、网络)
ceph官方文档
http://docs.ceph.org.cn/
ceph中文开源社区
http://ceph.org.cn/