存储方式集合

最新推荐文章于 2024-09-23 18:15:13 发布
最新推荐文章于 2024-09-23 18:15:13 发布
阅读量1k 收藏 18
点赞数 29
文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_69218423/article/details/141474695
版权

1.存储类型

1.1DAS 直接附加存储存储设备通过数据总线连接到主板

优势：速度快
劣势: 不便于共享
常见磁盘接口:
SCSI接口
320M/s
SATA接口
6G/s
SAS接口
6G/s
M.2
PCI-E

1.2NAS 网络附加存储

基于文件系统的共享
通过NFS协议、CIFS协议将存储空间进行共享
实现方式:
专业存储设备
NFS服务器
在这里插入图片描述

1.3SAN 存储区域网络

基于块设备的共享
实现方式:
专业的存储设备
SAN类型：
FC SAN
光纤网络存储
IP SAN
以太网络存储
在这里插入图片描述
在这里插入图片描述

2.glusterfs分布式文件系统

2.1分布式文件系统

适用于海量数据， 增加数据处理速度
构建分布式文件系统:
hadoop, hdfs 【大数据】
glusterfs 【云平台】
ceph
华为
FusionStorage

2.1.1gluster特性

开源的
容量达到PB级、服务器的最多达到千台
提升数据读写速度、高用性
无元数据metadata的架构, 采用弹性hash定位数据
可以廉价的pc server上构建

2.1.2gluster结构

brick： 真实的存储空间，表现为磁盘挂载点
volume：虚拟的存储空间，用于前端业务挂载使用
在这里插入图片描述

2.1.3gluster集群部署

关闭防火墙、SELinux、时间同步、主机名解析
部署SSH免密
配置gluster软件仓库
在集群节点中安装gluster服务端软件、启动glusterd服务
安装gluster客户端软件
创建gluster集群

3.ceph

Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
目前已得到众多云计算厂商的支持并被广泛应用。

3.1特点

高性能
采用CRUSH算法实现数据均衡分布
支持上千存储节点，支持TB到PB级的数据
高可用性
高可扩展性
特性丰富
支持三种存储接口：块存储、文件系统存储、对象存储
支持多种语言驱动

3.2ceph提供的存储接口

ceph是统一的分布式文件系统
同时提供三种接口：
文件系统存储 cephFS, 依赖于MDS
块级别的存储 RBD
对象存储，RGW 每个文件被称为一个对象，每个文件有一个唯一的访问地址，快速访问；适用于非结构化数据(图片、视图、音频、动画)

3.3ceph的核心组件

在这里插入图片描述

Mon
作为ceph存储的访问入口
负责集群管理维护操作

OSD
实际负责数据读写，真实的存储设备

PG
OSD的分组，简化数据对象、OSD的管理

MDS
元数据服务，为文件系统存储提供元数据的管理

cephFS
文件系统存储

RBD
块存储

RadosGW
对象存储

3.4cephIO算法流程

在这里插入图片描述
File用户需要读写的文件。File->Object映射：
ino (File的元数据，File的唯一id)。
ono(File切分产生的某个object的序号，默认以4M切分一个块大小)。
oid(object id: ino + ono)。

Object是RADOS需要的对象。Ceph指定一个静态hash函数计算oid的值，将oid映射成一个近似均匀分布的伪随机值，然后和mask按位相与，得到pgid。Object->PG映射：
hash(oid) & mask-> pgid 。
mask = PG总数m(m为2的整数幂)-1 。

PG(Placement Group),用途是对object的存储进行组织和位置映射, (类似于redis cluster里面的slot的概念) 一个PG里面会有很多object。采用CRUSH算法，将pgid代入其中，然后得到一组OSD。PG->OSD映射：
CRUSH(pgid)->(osd1,osd2,osd3) 。

3.5ceph-mimic版本集群部署

四台虚拟机
192.168.183.10 node01 ceph集群节点/ceph-deploy /dev/sdb
192.168.183.11 node02 ceph集群节点 /dev/sdb
192.168.183.12 node03 ceph集群节点 /dev/sdb
192.168.183.13 app 业务服务器

配置免密、时间同步、主机名解析
所有节点配置ceph软件仓库

在node1上安装ceph-deploy工具
创建集群目录
创建ceph集群
ceph.conf
集群配置文件
ceph.mon.keyring
ceph monitor认证的令牌
ceph-deploy-ceph.log
ceph-deploy日志

所有节点安装ceph相关软件

在客户端安装ceph-common软件

编辑node1配置文件、添加public network配置
monitor初始化，即将ceph-node01配置为monitor
将配置信息同步到ceph集群所有节点
为避免monitor成为单点故障，将ceph-node02/node03添加为monitor服务

创建ceph mgr
ceph自L版本后，添加Ceph Manager Daemon，简称ceph-mgr
该组件的出现主要是为了缓解ceph-monitor的压力，分担了moniotr的工作，例如插件管理等，以更好的管理集群
添加多个mgr， 避免单点故障

创建OSD(数据盘)
初始化磁盘，清空磁盘数据
将磁盘创建为osd

添加dashboard插件
查看mgr运行的主节点
启用dashboard插件
创建dashboard需要的证书
设置dashboard访问地址
重启dashboard插件
设置用户名、密码
访问webUI

3.6文件系统存储

1、在ceph集群中部署MDS
2、创建存储池
3、创建文件系统存储
4、业务服务器挂载使用cephfs
4.1 将认证的令牌导出，拷贝到业务服务器
4.2 业务服务器挂载使用ceph
5、删除文件系统存储
5.1 业务服务器取消挂载
5.2 修改ceph.conf，添加允许删除的配置；同步配置文件
5.3 停掉所有集群节点的mds服务
5.4 删除文件系统
5.5 删除文件系统对应的存储池

3.7块存储

1、将ceph的配置同步到业务服务器
2、创建存储池、初始化
3、创建卷
4、映射块设备
5、使用ceph的块设备存储数据
6、扩容
7、缩容
8、删除块存储

3.8对象存储

1、创建rgw服务
2、安装s3cmd测试工具
3、生成连接对象存储需要的AK、SK
4、创建.s3cfg配置文件，指定对象存储网关的连接信息
5、创建桶
6、测试文件上传、下载

对我来说痴心绝对
关注
到底什么是存储？
Xtaotech的博客
03-22 4307
大家好，我是新爷。 在这里我一直都在阐述着关于生信方面，数据方面的一些文章~ 那今天我给大家说说到底什么是存储。 简单的来说，存储就是用来存数据的，有下机数据，有中间结果数据，有最终结果数据。但很多人把“存储系统“和”硬盘“划等号，其实这不是一回事儿！ 存储系统需要硬盘，但存储系统不等于硬盘！ 存储系统其实由三个部分组成：介质（硬盘，闪存，SCM等），控制器硬件（CPU，内存，主板），系统软件。 存储是FISH（Fully integrated Software and Hardwar...
数据的存储~详解
qq_58259923的博客
09-05 236
1.数据的基本类型 整型家 字符型 char unsigned char signed char短整型 short unsigned short [int] signed short [int]整形 int unsigned int signed int 长整形 long unsigned long [int] signed long [int] ...
三种存储类型：块存储、文件存储、对象存储
热门推荐
Aiky哇
11-02 2万+
链接：https://www.zhihu.com/question/21536660/answer/1159036357 链接：https://www.cnblogs.com/hukey/p/8323853.html https://www.cnblogs.com/sylar5/p/11520149.html 存储类型 先从三种存储类型开始。 看了很多文章，感觉都无从下手，因为我还不了解为什么有这么多的存储方式和存储类型，所以先不看这些概念的定义，先了解为什么会有这些概念。 为什么会有这么多存储
存储简介及存储方式
TriAngel_的博客
12-24 4234
存储简介及存储方式 存储系统是整个IT系统的基石，是IT技术赖以存在和发挥效能的基础平台。早先的存储形式是存储设备（通常是磁盘）与应用服务器其他硬件直接安装于同一个机箱之内，并且该存储设备是给本台应用服务器独占使用的。 今天，我们分享内容和目录如下： 1、简介 2、三种常见存储方式 DAS、NAS和SAN 3、DAS、NAS和SAN三种存储方式比较 4、存储常见品牌 5、常用介质 1、简介 存储就是根据不同的应用环境通过采取合理、 安全、有效的方式将数据保存到某些介质上并能保证有效的访问。 总的来讲可以
计算机存储原理——基础
Stars____的博客
08-21 1102
存储介质的存储原理；文件系统概念梳理；接口与存储协议原理；DAS、SAN、NAS原理；RAID的多种实现模式
【存储】存储基本概念（lun,volume,HBA,DAS,NAS,SAN,iSCSI,IPSAN、存储池和存储卷)
bandaoyu的note
06-11 5480
目录什么是KVM（虚拟化软件）存储池和存储卷的区别（pool vs Volume）LUN （Target ID不够用，用LUN扩充）VOLUME （在LUN上划分）HBA (总线适配器)DAS/NAS/SAN iSCSI（互联网小型计算机系统接口）KVM 就是linux环境下的“VMware ” ，对比Windows下的VMware worstation。KVM功能强大，定制性高，只要入了门，绝对是功能强大。用来作云计算不错。不过就是操作性差了点。没有vmware workstation方便，毕竟，work
什么是存储
什么什么高手的博客
03-26 4869
如今计算机已经渗透到企业运作的各个角落，企业依靠所存放的这些业务数据进行决策，因此企业如何存放数据成为企业信息系统的重中之重，这也掀起了如今的存储热潮，那么到底什么是存储？存储的含义究竟是什么？     存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问，总的来讲可以包含两个方面的含义：一方面它是数据临时或长期驻留的物理媒介；另一方面，它是保证数
C语言：数据在内存中的存储（详解）
m0_62438418的博客
08-29 946
本文详细解释了整型和浮点型数据在内存中的存入以及取出规则，大小端介绍，超详细易懂，包含题目加深理解。
物理存储的类型、存储网络架构（DAS、NAS、SAN）
qq_37432174的博客
04-01 1094
个人看书学习心得及日常复习思考记录，个人随笔。
数据储存结构集合
10-19
根据提供的信息，我们可以深入探讨几种主要的数据存储结构及其在集合体系中的应用，特别是线性表、数组、链表、哈希表以及它们在集合（如`Collection`接口的不同实现）中的具体体现。 ### 线性表 线性表是一种常见...
Redis如何存储对象与集合示例详解
09-09
Redis作为一个高性能的键值存储系统，其强大的数据结构支持使其在处理对象和集合时具有很高的灵活性。在本文中，我们将探讨Redis如何存储对象与集合，包括字符串(Strings)、列表(Lists)、集合(Sets)、有序集合(ZSets...
Java HashSet集合存储遍历学生对象代码实例
08-19
Java HashSet集合存储遍历学生对象代码实例 Java HashSet集合是一种基于哈希表的集合实现，用于存储元素的集合。在本文中，我们将通过一个实例，介绍如何使用Java HashSet集合来存储和遍历学生对象，并解决添加重复...
java用list集合存储学生信息并算出成绩平均值操作
08-18
java用list集合存储学生信息并算出成绩平均值操作 本资源主要介绍了使用java语言如何使用list集合存储学生信息，并计算出成绩的平均值。该资源具有很好的参考价值，对大家学习java语言和list集合的使用有所帮助。 ...
Java遍历集合的三种方式
08-31
Java中的集合遍历是编程中常见的操作，尤其是在处理数据存储和处理时。本文将详细介绍Java中遍历集合的三种常见方式，并通过实例进行对比分析。 ### 方式一：转化为数组后遍历 这种方式首先将集合（如List）转化...
存储基本概念
ShunziZhang
07-20 4673
存储基本概念 2019-07-20 存储的一些基本概念 一些专业的术语解释 持续更新ing 从逻辑上存储通常分为块存储，文件存储，对象存储。 存储分类及应用 块存储：块存储（DAS/SAN）通常应用在某些专有的系统中，这类应用要求很高的随机读写...
存储的基本概念
leechm的博客
10-17 2453
认识分布式存储 分布式存储就是通过网络将数据分散存储在多台独立的设备上。 比如说，我们 现在有三台独立的机器，每台机器上各有20G独立的硬盘，我们可以将这三台机器上的硬盘组成一个60G的大存储去提供使用。 分布式存储的特性 分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且随着集群规模的增长，系统整体性能表现为球性增长。分布式存储的水平扩展有以下几个特性: 可扩展 分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且随着集群规模的增长，系统整体性能表现为球性增长。分布式存储的水平扩展有
第四章：存储系统：第一节——存储器概述
最新发布
2302_76674204的博客
09-23 727
以下图片，我们在第一章介绍过。■ 现代计算机以存储器为中心，它是计算机中存放指令和数据的主要部件。存储器的容量越大，能存储的信息越多。提高存储系统的访问速度，是提高计算机处理信息速度的重要措施。■因此，开发具有大容量高速度和低成本的存储系统是计算机技术发展的关键目标之一。对于计算机，我们所说的内存是指主存储器，硬盘是辅助存储器。对于智能手机，运行内存是指主存储器，机身内存是指辅助存储器。那么我们思考以下几个问题。当我们买电脑时，喜欢给自己的计算机跑分。
【计算机存储】常见的计算机存储的类型和不同维度分类（一）
z_xiao_qiang的博客
07-06 1995
常见的计算机存储的类型分类
云计算——常见存储类型
yj11290301的博客
08-05 7330
本章将会讲解云计算中常见的存储类型云计算——常见集群策略本地磁盘：最常见的存储DAS：局域网，小规模使用NAS：大规模，共享目录文件系统，传输速率不高SAN：网络大，设备多，传输速率快。
LIst集合的存储方式
05-31
List集合是一种有序的集合，它可以存储重复的元素。常用的实现类有ArrayList和LinkedList。List集合的存储方式可以分为两种：数组存储和链表存储。 ArrayList是基于数组实现的，它在内存中开辟一段连续的空间来存储元素。当进行插入或删除操作时，需要移动其他元素的位置，因此插入和删除操作的效率比较低。但是，由于它是基于数组实现的，因此可以通过下标快速访问元素，因此查询效率比较高。 LinkedList是基于链表实现的，它不需要一段连续的空间来存储元素，每个元素都存储了下一个元素的地址。当进行插入或删除操作时，只需要修改相邻元素的地址即可，因此插入和删除操作的效率比较高。但是，由于它是基于链表实现的，因此不能通过下标直接访问元素，需要遍历链表来查找元素，因此查询效率比较低。 总之，ArrayList和LinkedList都是List集合的实现类，它们的存储方式不同，需要根据具体场景选择合适的实现类来存储数据。如果需要快速访问元素，可以选择ArrayList；如果需要频繁进行插入和删除操作，可以选择LinkedList。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值