- 博客(10)
- 收藏
- 关注
原创 Linux开源存储漫谈(9)kubernetes及持久化
Kubernetes,简称k8s ,2014年发布,其核心特性脱胎于Google基础设施系统(Borg/Omega)的设计经验,并得益于Docker 项目和容器技术发展演进,使用声明式API定义容器化业务和容器间关系,为用户提供一个功能强大的工具;同时,按照某种规则,把容器到某个节点上运行起来并管理其生命周期;此外,k8s还提供了路由网关、水平扩展、监控、备份、灾难恢复等一系列运维能力。k8s的真正价值在于提供了一套基于容器构建分布式系统的基础依赖。
2023-05-31 15:48:16
271
1
原创 Linux开源存储漫谈(8)容器及容器存储
本质上,Docker 镜像就是一个压缩包,压缩包的内容,不仅仅包括应用可执行文件 + 启停脚本的组合,还包括应用程序完整的运行环境(操作系统的所有文件和目录),所以,通过使用Docker镜像整体打包本地环境,完成之后,再把这个镜像上传到云端运行,这样,就实现了应用程序本地环境和云端环境的高度一致,而Docker镜像是Docker最主要的创新,开创了软件交付的新标准,也是docker在2013年脱颖而出的不二法宝。,默认情况下,容器内产生的临时文件都被保存在容器层,数据流经过联合文件系统,保存在容器内部。
2023-05-28 23:34:27
229
原创 Linux存储系统、文件系统
文件系统是一种对存储设备上的文件、数据进行存储与组织的机制。组织方式不同就形成了不同的文件系统那么Linux 文件系统是如何工作的呢?为了方便管理,Linux 文件系统为每个文件都分配两个数据结构,索引节点(index node)和目录项(directory entry),它们主要用来记录文件的元信息和目录结构。索引节点,简称为 inode,记录文件的元数据,包括inode 编号、文件大小、修改日期等。索引节点和文件一一对应,被持久化存储到磁盘中。
2023-05-22 22:07:36
209
原创 Linux开源存储漫谈(7)SPDK vhost-user-scsi初体验
和两篇文章分别介绍了SPDK和vhost在I/O虚拟化中的原理及架构,本篇将介绍SPDK vhost-user-scsi在QEMU中的IO加速。
2023-05-21 12:05:02
423
原创 Linux开源存储漫谈(6)virtio vhost & SPDK vhost
主流的IO设备虚拟化方案包括,1. 纯软件模拟,完全利用软件模拟出一些设备给虚拟机用,如纯QEMU的解决方案2. 半虚拟化,主要是一种frontend-backend模型,虚拟机中Guest OS的设备驱动程序作为frontend,Hypervisor中暴露backend接口,这种解决方案需要修改修改Guest OS,或提供半虚拟化的设备驱动。
2023-05-18 21:02:22
297
原创 Linux开源存储漫谈(5)SPDK iSCSI Target初体验
及分别介绍了SPDK及我本地的环境信息,本篇将基于我的测试环境配置SPDK iSCSI Target并测试其性能,并对比的测试数据,展示SPDK的性能提升。
2023-05-17 15:44:08
503
1
原创 Linux开源存储漫谈(4)存储性能软件加速库SPDK
从1991年Linux首次发行到现在的30多年时间里,存储的介质、接口、协议都演进了几个代际,存储容量和传输速率也几乎遵循摩尔定律的发展,然而,人们对高性能的追求是无止境的,从持续满足高性能的角度来看,有两种途径,一是更高性能的硬件设备,二是减少软件处理的开销,更高性能硬盘设备依赖硬件厂商的不懈努力,软件处理是指存储软件栈,即Linux Storage Stack,见图,
2023-05-16 22:58:10
529
原创 Linux开源存储漫谈(3)Linux-IO iSCSI Target vs NFS
可以看出,差距相当明显,iops:135k/6815,bw:527MiB/26.8MiB,再测试顺序读,差距没有顺序写那么夸张,但也很大,同时,如果你多一些测试,同时使用top、vmstat、sar等性能观测工具,你就会发现,宿主机的负载会因iowait增高而快速攀升,也就是说,如果存在资源竞争或资源有限的情况下,NFS性能问题会加剧。三是通信框架,其中,用户层的接口及通信框架都是可插拔可替换,nfs就是作为一个用户接口子的rpc应用,介绍完了NFS的实现原理,开始搭建NFS服务。: 网络端口组标识。
2023-05-14 17:10:57
933
原创 Linux开源存储漫谈(2)IO性能测试利器fio
fio(Flexible I/O Tester)正是非常常用的文件系统和磁盘 I/O 性能基准测试工具。提供了大量的可定制化选项,可以用来测试,裸盘、一个单独的分区或者文件系统在各种场景下的 I/O 性能,包括了不同块大小、不同 I/O 引擎以及是否使用缓存等场景。ubuntu安装fio非常简单fio选项比较多,可以通过man fio查看,下面是比较常用的几个参数及说明size,寻址空间,IO会落在 [0, size)这个区间的硬盘空间上。这是一个可以影响IOPS的参数。一般设置为硬盘的大小。
2023-05-10 21:46:47
1903
1
原创 Linux开源存储漫谈(1)环境准备篇
etc/netplan/00-installer-config.yaml修改说明,第5行" dhcp4: true"---->" dhcp4: no",7-17行后添加内容,第9行"enp3s0"为第4行内容,第12行为操作系统所获得IP地址,第15、17行192.168.2.12为网关地址(根据自己的网络实际设置),记住第8行kvmbr0后续会用,重启使修改生效。Linux存储涉及的技术比较多,为了减少不必要的干扰,建议从一个全新的、干干净净的、并且内核版本比较高的系统开始。
2023-05-10 11:22:45
445
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人