ceph分布式存储系统

最新推荐文章于 2024-08-07 22:56:42 发布
最新推荐文章于 2024-08-07 22:56:42 发布
阅读量938 收藏 11
点赞数 23
文章标签： ceph 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52448810/article/details/140998454
版权

ceph

ceph是一个开源的，用c++语言编写的分布式的存储系统，存储文件数据。
lvm 逻辑卷 可以扩容
raid 磁盘阵列 高可用 基于物理意义上的存储系统

在这里插入图片描述

分布式就是多台物理磁盘组成的一个集群，在这个基础之后实现高可用，扩展
特点：1、远程访问
2、多个服务器组成的虚拟硬盘
3、分布式存储
4、负载均衡
ceph是一个同一的存储系统，同时提供块设备存储，文件系统存储和对象存储的三种存储。

对象存储（RGW）：

就是键值存储，通过接口指令，get，put ，del 和其他命令向对象存储上传或者下载数据。
把数据作为对象，按照一定的逻辑和算法，存储到不同的硬盘上（可以是不同机器上的硬盘，依靠网络来进行互相通信）
优点：1、使用的是硬盘组，不受目录系统的影响，读写效率高
2、集群的扩展性很强，支持多副本存储
3、可以直接通过URL访问数据

缺点：1、内容变动比较大的文件，不适合作为对象存储
2、主要是静态图片等等不需要变动的数据

文件系统存储 ceph-fs

ceph 集群的存储看做一个大的分区或者共享文件挂载到客户端的本机。
客户端可以在本地直接进行操作。速度快，可以存储的数据类型也没有限制
内核态和用户态

mount 内核态 速度快 读写也快
ceph-fuse 用户态 速度慢 读写稍慢

优点：成本低，随便的一台服务器都可以做。
公司内部都会使用这种方式。内网云盘
缺点：读写速度和传输速度相对比较慢（本地使用除外）。

块存储RDB

RDB为kvm虚拟化和云服务（OpenStack）提供高性能和无线可扩展的存储后端。
磁盘映射，RAID和lvm提供磁盘空间，多个主机上的raid或者lvm组成逻辑上的RAID和lvm
多快磁盘组成这种逻辑空间，可以并行的执行读写操作。
**缺点：**对网络传输的要求比较高，Windows无法访问linux的RDB操作

ceph的主要特点：

1、统一存储 对象 块 文件系统
2、Crush 算法，算法来实现数据的寻址，数据完整性的校验和一致性，理论上可以支持上千个数据存储节点。
3、可靠性比较强，副本，创建数据的时候可以对数据进行副本操作，副本数量由管理员定义。
副本可以跨主机保存，跨架构，跨机房，跨数据中心保存
4、高性能 因为是多副本，读写的时候可以做到并行化处理。

ceph的组件和作用：

1、OSD ceph 当中的OSD的守护进程，是集群的基础
主要功能：存储数据，保存副本数据，数据恢复，平衡数据分布。
冗余和高可用至少要由3个OSD（三个机器上的三个物理硬盘）

2、Monitors mon Monitors守护进程，监视整个ceph集群的状态。维护整个ceph集群的健康
OSD的状态也属于MON的监控范围。
ceph存储集群必须要有一个Monitors进程，和两个OSD进程。
服务器的数据必须是奇数台。
管理节点 mon osd

3、MDS也是一个守护进程，保存ceph文件系统的元数据。（文件的权限，所有者，所在组，创建/修改时间等等，在ceph集群中的inode号）

4、manages也是作为守护进程运行，跟踪集群的运行时间的指标和ceph集群的状态：存储的利用率，性能指标和系统的负载。

5、RADOS：分布式存储系统，所有的存储功能都是基于RADOS实现的，高可用，高性能也是基于RADOS实现的
RADOS是所有一切的底层，也是ceph集群的核心。
RADOS组成部分：OSD，Monitor

6、LIBRADOS：这是一个动态库，用来允许应用程序和RADOS系统进行交互。
通过端口进行通信。

存储的概念：

存储数据和object的关系：
对象，块，文件系统挂载，都需要object，存储的数据会被分成多个object，分成之后每一个数据都会有一个object id 。
每个数据的object的大小可以调整的，默认是4M
ceph的最小存储单位

object和pg的关系：

object的数量太多了，在一个集群当中，object的数量太多，遍历和寻址速度慢
PG，就是归属组，placcment group 管理object。
object通过CRUSH算法映射到PG当中，一个PG里面可以包含多个object
有组遍历和寻址会变快

pg与osd之间的关系：

pg也是通过CRUSH算法映射到OSD当中去存储，如果有3个副本，每个pg会映射到三个OSD当中。
三个OSD A B C
PG会同步到 A B C

pg和pgd的关系

8M的数据分为两个4M 分别为1 2
副本数3 pg2
副本数算主的数量
pg2 不算主机的数量

存储池 pool

ceph集群进行逻辑划分，设置ceph存储集群的权限，副本数 pg的数量和算法的规则
pool是由管理员自定义，相当于一个独立的空间，没有pool之间是独立的，数据也是隔离的

在这里插入图片描述

先创建pool存储池，然后划分object（4M一个）之后按照pg组的数量划分object到pg组，之后根据副本数复制到其他的OSD上。

192.168.11.144 admin osd mon mgr
192.168.11.145 osd mds mon mgr
192.168.11.146 osd mds mon mgr
192.168.11.153 client
mount
ceph-fuse
rdb

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 

----------------------------------------所有设备均需要的设置-------------------------------------------
[root@全部]# vim /etc/hosts
192.168.11.144 mysql1
192.168.11.145 mysql2
192.168.11.146 mysql3
192.168.11.153 test1


[root@mysql1 ceph]# cat> /etc/yum.repos.d/ceph.repo <<eof
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
eof

yum clean all && yum makecache

yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

192.168.11.144 配置


ssh-copy-id 192.168.11.144
ssh-copy-id 192.168.11.145
ssh-copy-id 192.168.11.146


[root@mysql1 ceph]# pwd
/etc/ceph
[root@mysql1 ceph]# ceph-deploy  new mysql1 mysql2 mysql3
[root@mysql1 ceph]# vim ceph.conf 
osd_pool_default_size = 2

ceph-deploy mon create-initial
ceph -s
alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - "- - -" > /sys/class/scsi_host/host2/scan'
scan
ceph-deploy disk zap mysql1 /dev/sdb
ceph-deploy disk zap mysql2 /dev/sdb
ceph-deploy disk zap mysql3 /dev/sdb
 1045  ceph -s
 1046  ceph-deploy osd create mysql1 --data /dev/sdb 
 1047  ceph-deploy osd create mysql2 --data /dev/sdb 
 1048  ceph-deploy osd create mysql3 --data /dev/sdb 
 1049  ceph-deploy osd list  mysql1  mysql2   mysql3
 1050  ceph -s
 1051  ceph-deploy mgr create mysql1 mysql2 mysql3
 1052  ceph -s
 1053  ceph-deploy admin  mysql1 mysql2 mysql3
 1054  ls
 1055  chmod +r ceph.client.admin.keyring 
 1056  ceph-deploy mds create mysql2 mysql3
 1057  ceph mds stat
 1058  ceph -s
#创建存储池 pool
文件系统ceph-fs
[root@mysql1 ceph]# ceph osd pool create cephfs_date 128
pool 'cephfs_date' created
#创建存储数据的数据池
[root@mysql1 ceph]# ceph osd pool create ceph_metadata 128
pool 'ceph_metadata' created
#创建保存元数据的数据池
[root@mysql1 ceph]# ceph fs new cephfs ceph_metadata cephfs_date
new fs with metadata pool 2 and data pool 1
#创建文件系统
[root@mysql1 ceph]# ceph fs ls
name: cephfs, metadata pool: ceph_metadata, data pools: [cephfs_date ]
#名称为cephfs  保存元数据的库：ceph_metadata 保存数据的库：cephfs_date
[root@mysql1 ceph]# ceph fs status cephfs
[root@mysql1 ceph]#ceph fs flag set enable_multiple true --yes-i-really-mean-it   
#新增一个文件系统
[root@mysql1 ceph]#ceph fs new ceph-test1 cephfs_test1 ceph_test1_medata

[root@mysql1 ceph]# ceph fs rm cephfs --yes-i-really-mean-it
#删除现有的文件系统

192.168.11.145 配置

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
cat> /etc/yum.repos.d/ceph.repo <<eof
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
eof
yum clean all && yum makecache
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

vim /etc/hosts
ssh-copy-id 192.168.11.144
ssh-copy-id 192.168.11.145
ssh-copy-id 192.168.11.146

alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
scan
cd /etc/ceph/
chmod +r ceph.client.admin.keyring
ls

192.168.11.146 配置

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
cat> /etc/yum.repos.d/ceph.repo <<eof
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
eof
yum clean all && yum makecache
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

vim /etc/hosts
ssh-copy-id 192.168.11.144
ssh-copy-id 192.168.11.145
ssh-copy-id 192.168.11.146

alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
scan
cd /etc/ceph/
chmod +r ceph.client.admin.keyring
ls

[root@全部]# vim /etc/hosts
192.168.11.144 mysql1
192.168.11.145 mysql2
192.168.11.146 mysql3
192.168.11.153 test1


[root@mysql1 ceph]# cat> /etc/yum.repos.d/ceph.repo <<eof
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
eof

yum clean all && yum makecache

yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

mkdir  /data2
mount -t ceph 192.168.11.144:6789:/ /data2 -o name=admin,secret=AQDdBbNmd9NqBxAAGRywPYgSpW3hdTXXBK3gDg==
#输入密码挂载
cd /data2
dd if=/dev/zero of=/data2/lzl bs=10M count=10
主设备（192.168.11.144）ceph fs status cephfs  # 查看使用状态

用户态挂载
[root@test1 data2]# yum -y install  ceph-fuse   # 依赖环境
免密挂载
[root@test1 data2]# cd /etc/ceph/
[root@test1 ceph]# scp root@192.168.11.144:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
[root@test1 ceph]# scp root@192.168.11.144:/etc/ceph/ceph.conf /etc/ceph/
[root@test1 ceph]# mkdir /data4
[root@test1 ceph]# ceph-fuse -m 192.168.11.144:6789 /data4
[root@test1 ceph]# df -h
ceph-fuse                 27G  300M   27G    2% /data4

[root@test1 data4]#mount -t ceph 192.168.11.144:6789:/ /data4 -o name=admin,secret=AQDdBbNmd9NqBxAAGRywPYgSpW3hdTXXBK3gDg==,mds_namespace=cephfs_test11
# guazi
查看主（192.168.11.144）连接的访客数量
[root@mysql1 ceph]# ceph fs status cephfs
cephfs - 2 clients  （两个访客数量）
======

第一个存储数据的pool
第二个存储元数据的pool
ceph osd pool create cephfs_date pg_num
少于5个osd的情况下，pg的数量等于128
5-10个osd 512
10-50个osd 4096个
Pg总数:750个，不能超过750个
1283= 384个
750-384=366
存储元数据也要pg
128 * 2= 256
存储数据：
osd * pg 值
元数据
2pg值
osd * pg值 + 2 * pg 值 < 750

pg_num =(osd*100)/副本数（计算pg的值）
设定pg值的目的，通过管理较少的pg,ceph获取数据，分配，管理数据的效率越高。
pg值越多，数据分布的的越多，管理的就越复杂

[root@mysql1 ceph]# ceph osd pool create cephfs_date 128
pool 'cephfs_date' created
#创建存储数据的数据池
ceph osd pool create cephfs_test1 64
创建保存元数据的数据池

[root@mysql1 ceph]# ceph osd pool create cephfs_test11  3
pool 'cephfs_date' created
#创建存储数据的数据池
[root@mysql1 ceph]# ceph osd pool create ceph_metatest11 4
pool 'ceph_metadata' created
#创建保存元数据的数据池
[root@mysql1 ceph]# ceph fs new cephfs_test11 ceph_metatest11 cephfs_test11
new fs with metadata pool 2 and data pool 1
#创建文件系统

在这里插入图片描述

[root@mysql1 ceph]# ceph osd pool create cephfs_test11 3
pool ‘cephfs_date’ created
#创建存储数据的数据池
[root@mysql1 ceph]# ceph osd pool create ceph_metatest11 4
pool ‘ceph_metadata’ created
#创建保存元数据的数据池
[root@mysql1 ceph]# ceph fs new cephfs_test11 ceph_metatest11 cephfs_test11
new fs with metadata pool 2 and data pool 1
#创建文件系统
挂载：mount -t ceph 192.168.118.61:6789:/ /data2 -o name=admin,secret=AQBa/LJmAn2OMxAA7EEZTaurchJ+K4uPyQNhfQ==,mds_namespace=cephfs_test11

代码要你命
关注
  • 23
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Ceph分布式存储系统
qq_62414482的博客
04-09 745
Ceph Mon维护Ceph存储集群映射的主副本和Ceph存储集群的当前状态，监控器需要高度一致性，确保对Ceph存储集群状态达成一致。ceph存储数据时采用多副本的方式进行存储，生产环境下，一个文件至少要存三份，ceph默认也是三副本存储。创建存储空间，ceph会将硬盘分为两个分区，一个分区大小为5GB，用于ceph的内部资源，另一个分区是剩余的全部空间。3、创建文件系统new后面第一个表示要创建文件系统的名字，第二个存储池用来存储元数据，第三个存储池用来存储数据，创建完查看存储池。
Ceph分布式存储系统优化分析
渡江客涂鸦板
08-13 1279
本文介绍了Ceph分布式存储系统的发展历史和特点，并从内部优化机制、面向硬件设备和应用场景这3个方面梳理了现有的性能优化方法。作为一个开源的统一存储系统，Ceph提供了高性能、高可扩展性和高可用的块、文件和对象存取功能。Ceph的特点使之被广泛应用于云计算、高性能计算和大数据处理领域。目前，Ceph的性能优化研究工作虽然有一定的进展，但仍有很多问题尚未完全解决。
Ceph分布式存储系统搭建
2302_77582029的博客
06-26 2398
Ceph分布式存储系统搭建
CEPH分布式存储系统
Alone8046的博客
08-07 434
1.对象、块、文件系统都需要object，存储的数据就会被分成多个object，分成之后每个数据都是一个object id，每个object的大小是可以调整的，默认是4M，ceph的最小存储单位。5.RADOS：分布式存储系统，ceph所有的存储功能都是基于rados实现的，高性能也是基于rados实现的，它是所有一切的底层，也是整个ceph集群的核心。4.managers也是做为ceph的守护进程，跟踪集群的运行时间的指标和ceph集群的状态（状态指的是存储的利用率、性能指标和系统的负载）
实战搭建Ceph分布式存储系统.pdf
08-08
#资源达人分享计划#
Ceph分布式存储系统介绍.pdf
09-23
Ceph分布式存储系统介绍 Ceph是一个开源的、可靠的、可扩展的分布式存储系统，提供了多种访问接口，包括块、文件、S3、Swift等。Ceph的核心组件是RADOS（Reliable Autonomic Distributed Object Store），它提供了...
Ceph分布式存储系统性能优化技术研究综述.pdf
08-08
#资源达人分享计划#
ceph分布式存储解说
04-05
Ceph是一个全面的分布式存储解决方案，它涵盖了文件存储（CephFS）、块存储（RBD）和对象存储（Rados Gateway）。Ceph的独特之处在于其统一的存储层，称为RADOS（Reliable Autonomic Distributed Object Store），...
分布式存储ceph知识点整理
happy_king_zi的博客
08-07 1024
如何选择存储底层协议兼容性产品要有定位，功能有所取舍针对特定市场的应用存储被市场认可的存储系统稳定性是第一位的性能第二数据功能要够用软件定义存储 (SDS) 利用基于软件的方法管理数据存储,并提供基于策略的数据层控制,独立于底层的存储硬件。Ceph支持对象存储（RADOSGW）、块存储（RBD）和文件存储（CephFS）。一个Ceph存储集群至少包含一个Ceph monitor、Ceph manager及Ceph OSD(Object Store Daemon)。
第35讲：Manager可视化组件管理Ceph集群
江晓龙的博客
08-05 1131
Mgr组件的官方文档：https://docs.ceph.com/en/latest/mgr/Ceph Manager守护进程 (ceph-mgr) 与Monitor守护进程一起运行，为外部监控和管理系统提供额外的监控和接口。ceph luminous版本中新增加了一个组件： Ceph Manager Daemon，简称ceph-mgr。该组件的主要 作用是分担和扩展monitor的部分功能，减轻monitor的负担，让更好地管理ceph存储系统。
ceph
m0_71178834的博客
08-07 427
高可用，高性能也是基于RADOS实现的，他是所有一切的底层，也是整个ceph集群的核心。可靠性比较强 副本，创建数据的时候可以对数据进行副本操作，副本数由管理员定义的，副本可以跨主机保存，快架构，跨机房，跨数据中心进行保存。跟踪集群的运行时间的指标和ceph集群的状态，存储的利用率，性能指标和系统的负载。把数据作为对象，按照一定的逻辑和算法，存储到不同的硬盘上（可以是不同机器上的硬盘，依靠网络来进行互相通信）。ceph的集群进行逻辑划分，设置ceph存储集群的权限，副本数 pg的数量和算法的规则。
linux的ceph
最新发布
cycjok的博客
08-07 395
ceph
【运维项目经历|039】Ceph高性能云存储集群部署与优化
小鹏linux的博客
08-05 76
项目背景 随着公司业务快速发展，数据量呈爆炸式增长，传统的存储解决方案已无法满足日益增长的数据存储需求和高并发访问要求。Ceph作为一个开源的、可扩展的分布式存储系统，因其高可用性、高可扩展性和强一致性等特点，成为公司解决存储瓶颈的首选方案。本项目旨在通过部署并优化Ceph集群，为公司业务提供稳定、高效的云存储服务。 项目目标 部署一套高性能、高可用性的Ceph存储集群，支持PB级数据存储。 实现数据的自动均衡与故障恢复，确保数据的安全性和可用性。 优化存储性能，提高数据读写速度，降低延迟。 整合C
ceph集群
Hai990218的博客
08-07 479
原理：先把数据分散，分成每个object，每个object给一个id，每个id保存到osd中，根据object分成不同的pg组，把pg组结合起来保存到存储池，osd看要不要做副本，做副本就复制，有两个就做主从，有3个就两两复制。优点：磁盘映射，raid和lvm提供磁盘空间，多个主机上的raid或者lvm组成一个逻辑上的raid和lvm，多块磁盘组成这种逻辑空间，可以并发的执行读写操作，IO效率比较高。ceph的集群进行逻辑划分，设置ceph存储集群的权限，副本数、 pg的数量和算法的规则。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码要你命

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值