存储
文章平均质量分 75
qq_42533216
这个作者很懒,什么都没留下…
展开
-
qemu-img磁盘管理
rw-r--r--. 1 root root 193K 12月 17 02:15 disk2.qcow2。-rw-r--r--. 1 root root 193K 12月 17 02:18 disk1.qcow2。-rw-r--r--. 1 root root 193K 12月 17 02:15 disk2.qcow2。-rw-r--r--. 1 root root 10G 12月 17 02:14 disk1.raw。1)为disk2.qcow2制作增量镜像disk2-A.qcow2。...转载 2022-08-11 20:29:05 · 1025 阅读 · 0 评论 -
RabbitMQ 集群
如果没有持久化的话,然后就没有然后了。因此,在集群环境中,队列只有元数据会在集群的所有节点同步,但队列中的数据只会存在于一个节点,数据没有冗余且容易丢,甚至在durable的情况下,如果所在的服务器节点宕机,就要等待节点恢复才能继续提供消息服务。默认的情况下,消息只会存在于它被创建的节点上,但是它们在所有节点上可见和可访问。比如,如果一个节点可以存放1GB的消息,增加另外两个节点只会增加另外两个拷贝而已。对于Queue来说,消息实体只存在于其中一个节点,A、B两个节点仅有相同的元数据,即队列结构。...原创 2022-07-18 11:40:04 · 419 阅读 · 0 评论 -
lun的概念
在磁盘阵列和磁带库大行其道的时代,存储越来越智能化,越来越像一个独立的机器,实际上存储和主机的电气独立本来就是一个必然趋势。有了独立的磁盘阵列用了之后,服务器只要看到存储的控制系统,就有可能使用磁盘阵列的磁盘资源,但是磁盘阵列不可能只为某一个服务器来使用,所以他必须管制主机使用某部分磁盘资源。一个阵列的控制系统,大多都有虚拟化的功能,阵列想让主机看到什么样的东西,主机才能看到相应的东西。,具体的做法,就是生成一个特别的设备文件,操作系统操作这个特殊的设备文件。而我们知道,设备文件。那么,必然的,同一个。..转载 2022-07-15 14:31:30 · 1353 阅读 · 0 评论 -
快照和备份
一句话答案:快照是数据存储的某一时刻的状态记录;备份则是数据存储的某一个时刻的副本。这是两种完全不同的概念。先说背景知识:我们现在电脑上的数据,记录方式都是地址->数据这样存放的。例如我们最熟悉的机械硬盘,最小存储单位是扇区,老式硬盘一个扇区512字节,新式硬盘一个扇区4096字节。每个扇区都有自己的地址,现在主流的LBA寻址方式,就是从0开始,0,1,2,3,……,N这样。数据的物理存储当然,对于外部存储,我们一般不会这样直接存放数据,我们可能通过硬盘分区,并且格式化对应分区后存放数据,于是就变成这样的情转载 2022-06-29 19:25:55 · 1351 阅读 · 0 评论 -
NBD Network Block Device
1. 介绍NBD(Network Block Device),即网络块设备。可以将一个远程主机的磁盘空间,当作一个块设备来使用。就像一块硬盘一样使用它,你可以很方便的将另一台服务器的硬盘空间,增加到本地服务器上。NBD与NFS有所不同,NFS只是提供一个挂载点供客户端使用,客户端无法改变这个挂载点的分区格式,而NBD提供的是一个块设备,客户端可以把这个块设备格式化成各种类型的分区,更便于用户的使用。NBD是一个内核模块,大部分Linux发行版都已包含它。在centos中, 编译成模块NBD, 保存在 /l转载 2022-06-23 14:50:01 · 653 阅读 · 0 评论 -
dmsetup命令
A.2. DMSETUP 命令 命令是一个用来与 Device Mapper 沟通的命令行封装器(wrapper)。可使用 命令的 、、 和 选项查看 LVM 设备的常规信息,如以下小节所述。有关 命令的额外选项和功能,请参考 (8) man page。 命令提供有关 Device Mapper 设备概述。如果没有指定设备名称,则输出所有目前配置的 Device Mapper 设备信息。如果指定了设备,那么这个命令只会生成该设备信息。 命令提供以下分类信息:设备名称。LVM 设备以用小横线分隔的卷原创 2022-06-23 14:19:58 · 3716 阅读 · 0 评论 -
pv vg lv linux中的卷 lvm 等之间的关系和操作
简介LVM是 Logical Volume Manager(逻辑卷管理)的简写,它是Linux环境下对磁盘分区进行管理的一种机制,它由Heinz Mauelshagen在Linux 2.4内核上实现,Linux用户安装Linux操作系统时遇到的一个常见的难以决定的问题就是如何正确地评估各分区大小,以分配合适的硬盘空间。普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小,当一个逻辑分区存放不下某个文件时,这个文件因为受上层文件系统的限制,也不能跨越多个分区来存放,所以也不能同时放到别的磁盘上。而遇转载 2022-05-06 11:04:06 · 593 阅读 · 0 评论 -
kafka和pulsar的区别
Pulsar是一款分布式发布/订阅消息平台,近两年非常火,被称为下一代的消息流平台,大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。历史背景Pulsar源自Yahoo,于2016年开源并捐献给Apache基金会,并在2018年9月升级成为Apache顶级项目。Kafka最初由Linkedin开发,并于2010年贡献给了Apache基金会,之后成为Apache顶级项目。架构KafkaKafka架构由broker和zookeeper组成,如下图:[...转载 2021-07-28 15:33:10 · 2085 阅读 · 0 评论 -
Spark数据分析之pyspark
Spark数据分析之pyspark一、大数据简史,从hadoop到Spark1.hadoop的出现:(1)问题:1990年,电商爆发以及机器产生了大量数据,单一的系统无法承担(2)办法:为了解决(1)的问题许多公司,尤其是大公司领导了普通硬件集群的水平扩展(3)执行:hadoop应运而生2.spark的出现:(1)hadoop面临问题: - 硬件瓶颈:多年来,内存技术突飞猛进,而硬盘技术没有太大的变化。hadoop主要运用的是硬盘,没有利用好内存技术。 - 编转载 2021-07-12 10:02:42 · 672 阅读 · 0 评论 -
iSCSI
iSCSI 主要是透过 TCP/IP 的技术,将储存设备端透过 iSCSI target (iSCSI 目标) 功能,做成可以提供磁盘的服务器端,再透过 iSCSI initiator (iSCSI 初始化用户) 功能,做成能够挂载使用 iSCSI target 的客户端,如此便能透过 iSCSI 协议来进行磁盘的应用了。也就是说,iSCSI 这个架构主要将储存装置与使用的主机分为两个部分,分别是:iSCSI target:就是储存设备端,存放磁盘或 RAID 的设备,目前也能够将 Linux 主.原创 2021-05-11 14:46:37 · 120 阅读 · 0 评论 -
openstack Cinder 架构分析、高可用部署与核心功能解析
目录文章目录目录 Cinder Cinder 的软件架构 cinder-api cinder-scheduler cinder-volume Driver 框架 Plugin 框架 cinder-backup Volume Provider 中间件 创建 Volume 流程分析 cinder-api 阶段 cinder-scheduler 阶段 cinder-volume 阶段 TaskFlow 创建 Volume 失败重试机制.转载 2021-03-12 13:19:50 · 1576 阅读 · 0 评论 -
存储分类及对象存储osd的技术原理
什么是对象存储(OSD)?存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。对象存储的发展历史:1999年成立的全球网络存储工业协会(SNIA)的对象存储设备(Object Storage Device)工作组发布了ANSI的X3T10标准。对象存储的优点:总体上来讲,对象存储同兼具转载 2021-01-06 09:36:09 · 316 阅读 · 0 评论