2024年网络安全最新分布式存储Ceph_千锋ceph

2401_84301389

已于 2024-05-01 23:08:51 修改

阅读量599

点赞数 7

分类专栏：程序员文章标签： web安全分布式 ceph

于 2024-05-01 23:08:50 首次发布

本文链接：https://blog.csdn.net/2401_84301389/article/details/138382176

版权

程序员专栏收录该内容

158 篇文章 0 订阅

订阅专栏

#注意：
1.分布式存储不一定是对象存储，所有的对象存储一定是分布式存储
2.分布式文件系统的元数据服务器存储的各个数据的位置信息
3.对象存储服务的的元数据服务器存储的是数据的属性信息

非分布式文件系统
#典型设备： FTP、NFS服务器
为了克服块存储文件无法共享的问题，所以有了文件存储。在服务器上安装FTP与NFS服务，就是文件存储。
优点：
造价低，随便一台机器就可以了。
方便文件共享。
缺点：
读写速率低。
传输速率慢。
使用场景：
日志存储。
有目录结构的文件存储。

3.分布式文件系统的特性
可扩展
分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且随着集群规模的增长，系统整体性能表现为线性增长。分布式存储的水平扩展有以下几个特性：
1) 节点扩展后，旧数据会自动迁移到新节点，实现负载均衡，避免单点故障的情况出现;
2) 水平扩展只需要将新节点和原有集群连接到同一网络，整个过程不会对业务造成影响;

低成本
分布式存储系统的自动容错、自动负载均衡机制使其可以构建在普通的PC机之上。

易管理
可通过一个简单的WEB界面就可以对整个系统进行配置管理，运维简便，极低的管理成本。

4.块存储
#块存储的特点：
1.主要是将裸磁盘空间映射给主机使用的，共享的最小单位是块
2.使用的交换机是光纤交换机价格贵成本高
3.性能最好，扩展性好
4.不能做文件系统的共享

最典型的就是SAN（storage area network）(存储区域网)----有一个局域网里面有一个交换机，交换机上面连着服务器，所有服务器都是专业存储的设备，他们组成一个存储区域网，当我们用的时候只需要在这个区域网里面拿空间使用

#典型设备：磁盘阵列，硬盘
优点：
通过Raid与LVM等手段，对数据提供了保护。
多块廉价的硬盘组合起来，提高容量。
多块磁盘组合出来的逻辑盘，提升读写效率。
缺点：
采用SAN架构组网时，光纤交换机，造价成本高。
主机之间无法共享数据。
使用场景：
虚拟机磁盘存储分配。
日志存储。
文件存储。

5.对象存储
为什么需要对象存储？
首先，一个文件包含了属性（术语叫metadata，元数据，例如该文件的大小、修改时间、存储路径等）以及内容（以下简称数据）。

而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪些OSD，假设反馈文件A存储在B、C、D三台OSD，那么用户就会再次直接访问3台OSD服务器去读取数据。

由于是3台OSD同时对外传输数据，所以传输的速度就加快了。当OSD服务器数量越多，这种读写速度的提升就越大，通过此种方式，实现了读写快的目的。

另一方面，对象存储软件是有专门的文件系统的，所以OSD对外又相当于文件服务器，那么就不存在文件共享方面的困难了，也解决了文件共享方面的问题。

#所以对象存储的出现，很好地结合了块存储与文件存储的优点。

#优点：
具备块存储的读写高速。
具备文件存储的共享等特性。

使用场景： (适合更新变动较少的数据)
图片存储。
视频存储。


#### **常见分布式存储---了解**


#### **Hadoop HDFS**


HDFS（Hadoop Distributed File System）是一个分布式文件系统,是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件.HDFS是一个高度容错性的系统，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

HDFS的优点：

1. 高容错性
数据自动保存多个副本
副本丢失后,自动恢复
2. 良好的数据访问机制
一次写入、多次读取,保证数据一致性
3. 适合大数据文件的存储
TB、甚至PB级数据
扩展能力很强

HDFS的缺点：

1. 海量小文件存取
占用NameNode大量内存
2. 一个文件只能有一个写入者
仅支持append(追加)


#### **OpenStack的对象存储Swift**


![](https://img-blog.csdnimg.cn/img_convert/23d744d3fce133d425b38ec91c34a69f.png)


OpenStack Object Storage（Swift）是OpenStack开源云计算项目的子项目之一。Swift的目的是使用普通硬件来构建冗余的、可扩展的分布式对象存储集群，存储容量可达PB级。Swift的是用Python开发

其主要特点为：

各个存储的节点完全对等，是对称的系统架构。
无单点故障:与对象文件存储一样，数据也会存储多份。整个Swift集群中，也没有一个角色是单点的。
在不影响性能的情况下，集群通过增加外部节点进行扩展。

Swift可以用以下用途：
图片、文档存储
长期保存的日志文件
存储媒体库(照片、音乐、视频等)
总结：Swift适合用来存储大量的、长期的、需要备份的对象。


#### **公有云对象存储**

公有云大都有对象存储

Amazon类似产品就是S3： http://aws.amazon.com/s3;
微软类似产品Azure Bolb：http://azure.microsoft.com/en-us/documentation/articles/storage-dotnet-how-to-use-blobs/;
阿里类似的有OSS：https://www.aliyun.com/product/oss/;

阿里云对象存储OSS存储类型（Storage Class）
提供标准、低频访问、归档三种存储类型

标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问；
低频访问存储类型适合长期保存不经常访问的数据（平均每月访问频率 1 到 2 次），存储单价低于标准类型；
归档存储类型适合需要长期保存（建议半年以上）的归档数据，在三种存储类型中单价最低。

应用场景

图片和音视频等应用的海量存储
OSS可用于图片、音视频、日志等海量文件的存储。


#### **GlusterFS分布式文件系统**


![](https://img-blog.csdnimg.cn/img_convert/64d09075bfc259b00fa472aafc5c5510.png)


GlusterFS（GNU ClusterFile System）是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节点，所有节点全部平等。GlusterFS配置方便，稳定性好，可轻松达到PB级容量，数千个节点，2011年被红帽收购。

#PB级容量高可用性基于文件系统级别共享分布式去中心化

glusgerfs存储卷的类型

#基本类型：条带，复制，哈希。

#各种卷的整理

1.分布卷：存储数据时，将文件随机存储到glusterfs机器上。

优点：存储数据时，读取速度快
缺点：一个birck坏掉，文件就会丢失

2.复制卷：存储数据时，所有文件分别存储到每台glusterfs机器上。

优点：对文件进行的多次备份一个brick坏掉，文件不会丢失，其他机器的brick上面有备份
缺点：占用资源

3.条带卷：存数据时，一个文件分开存到每台glusterfs机器上

优点：对大文件，读写速度快
缺点：一个brick坏掉，文件就会坏掉


### **Ceph详解**


#### **Ceph简介**


Ceph使用C++语言开发，Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企业版。


Ceph主要设计的初衷是变成一个可避免单节点故障的统一的分布式文件系统，提供较好的性能、可靠性和PB级别的扩展能力，而且是一种开源自由软件，许多融合的分布式文件系统都是基于Ceph开发的。


#### **Ceph特性**

高扩展性：使用普通x86服务器，支持10~1000台服务器，支持TB到EB级的扩展。
高可靠性：没有单点故障，多数据副本，自动管理，自动修复。
高性能：数据分布均衡。

#可用于对象存储，块设备存储和文件系统存储


#### **Ceph架构**


![](https://img-blog.csdnimg.cn/img_convert/03347d2644437dd79428ee3d208ce71a.png)


#### **基础存储系统RADOS**

Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布式的对象存储。所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的。Ceph的高可靠、高可扩展、高性能、高自动化等等特性本质上也是由这一层所提供的。


#### **基础库librados**

这一层的功能是对RADOS进行抽象和封装，并向上层提供API，以便直接基于RADOS进行应用开发。由于RADOS是一个对象存储系统，因此，librados实现的API也只是针对对象存储功能的。

RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFS都是通过librados访问的，目前提供PHP、Ruby、Java、Python、C和C++支持。


#### **高层应用接口**

radosgw: 对象网关接口(对象存储)
rbd: 块存储
cephfs：文件系统存储
其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。


#### **Ceph的基本组件**


![](https://img-blog.csdnimg.cn/img_convert/7ec2fab76d41b8e3f4e3f12df64452a4.png)


Ceph主要有三个基本进程




### 一、网安学习成长路线图


网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/aa7be04dc8684d7ea43acc0151aebbf1.png)


### 二、网安视频合集


观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/f0aeee2eec7a48f4ad7d083932cb095d.png)


### 三、精品网安学习书籍


当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/078ea1d4cda342f496f9276a4cda5fcf.png)


### 四、网络安全源码合集+工具包


光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e54c0bac8f3049928b488dc1e5080fc5.png)


### 五、网络安全面试题


最后就是大家最关心的网络安全面试题板块  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/15c1192cad414044b4dd41f3df44433d.png)![在这里插入图片描述](https://img-blog.csdnimg.cn/b07abbfab1fd4edc800d7db3eabb956e.png)  



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84301389

关注

7
点赞
踩
14

收藏

觉得还不错? 一键收藏
1
评论
2024年网络安全最新分布式存储Ceph_千锋ceph

而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。最典型的就是SAN（storage area network）(存储区域网)----有一个局域网里面有一个交换机，交换机上面连着服务器，所有服务器都是专业存储的设备，他们组成一个存储区域网，当我们用的时候只需要在这个区域网里面拿空间使用。
复制链接

扫一扫