渡江客涂鸦板

阿里云作为一家全球领先的云计算及人工智能科技公司，其产品EMR提供了相对方便可控的企业级大数据服务，作为EMR的核心，在底层存储也有突出的设计和优化，本文主要调研和阿里云EMR的存储核心产品能力。阿里云EMR在存储领域的核心组件涉及SmartData、JindoData、JindoFS、jindoFSx、OSS-HDFS、JindoCache等概念。本文不讨论阿里云盘古等底层存储系统的设计。

计算存储分离已经成为云计算的一种发展趋势。在计算存储分离之前，普遍采用的是传统的计算存储相互融合的架构，但是这种架构存在一定的问题，比如在集群扩容的时候会面临计算能力和存储能力相互不匹配的问题。用户在某些情况下只需要扩容计算能力或者存储能力，而传统的融合架构不能满足用户的这种需求，进行单独的扩充计算或者存储能力；其次在缩容的时候可能会遇到人工干预，人工干预完后需要保证数据在多个节点中同步，而当有多个副本需要同步时候，可能会造成的数据丢失。而计算存储分离架构则可以很好的解决这些问题，使得用户只需要关心整个集群

CACHEUS建立在LeCaR的成功之上。它在几个方面对LeCaR进行了改进。首先，虽然LeCaR主张使用经典的LRU和LFU，CACHEUS证明了使用更复杂的专家的重要性。其次，CACHEUS通过识别和消除其机器学习机制的冗余方面简化了LeCaR。第三，它创建了一个完全自适应的版本，也是轻量级的。最后，新的轻量级专家SR-LRU和CR-LFU改进了LeCaR的专家，以解决扫描和搅动这两个新的工作负载原语类型。通过这些改进，CACHEUS的表现优于LeCaR以及其他最先进的算法。

HBM（High Bandwidth Memory）即高带宽存储器，是基于硅通孔（TSV）和微凸点（Microbump）技术将多个DRAMdie和Logicdie堆叠而成的具有三维结构的存储产品。

弹性扩缩技术正在成为HPC集群中的一项重要技术。它可以根据实际需求动态调整集群资源，应对用户负载的波动。对于运维团队来说，自动弹性扩缩能够减轻集群运维负担，提高集群资源利用率，降低成本。

生成式AI的热潮在短时间内席卷全球，以一种势不可挡的趋势迅速出圈，在某一时间段，似乎出现了“除了IT行业，人人都是AI专家”的盛况。这一轮如火如荼的全民AI热潮迸发至今，业已过半载，待最初的烟花绚烂散去，现如今又情形何如?

近两年存储领域最大的里程碑事件应该是闪存赢得过半市场，Gartner 连续几个季度的市场分析数据中也多次都确认了这一点，固态存储取代机械硬盘的趋势不可逆转。在这一大背景下，有三个新发展方向日益引起更多关注，分别是存储新介质，可计算存储（存算一体）和进一步的极致性能追求。

CHFS是一个利用计算节点的持久内存的自适应并行文件系统。该设计完全基于高度可扩展的分布式键值存储，采用一致性哈希算法。CHFS通过消除专用元数据服务器、顺序执行和集中式数据管理，提高了并行数据访问性能和元数据性能的可扩展性。

随着 LLM 的火爆，向量数据库也成为了一个热门的话题。只需要一些简单的 Python 代码，向量数据库就可以为你的 LLM 插上一个廉价但极有效的“外接大脑”。但是，我们真的需要一个（专门的）向量数据库吗？

在 AIGC 革命大爆发的日子，一个特别的挑战是大规模存储和查询非结构化数据（比如图像、视频、文本）的能力。为了快速搜索和理解非结构化数据，现在的普遍解法是使用向量数据库（vector database）。在向量数据库中，向量是一等公民，所有的功能都是围绕着它建立的。向量数据库可以让开发者以向量嵌入的形式处理非结构化数据（两个向量之间的距离代表了它们的关联性），这对于使用和扩展大型语言模型（LLM）尤为重要。

除了常见的M+N纠删码之外，还经常见到一种M+N:1的纠删码，这是一种特殊的纠删码技术，称之为亚节点纠删码。

在openEuler开发者大会2023上，华为携手openEuler发布NFS+协议，实现单客户端访问NAS存储可靠性提升3倍、性能提升6倍，助力NAS存储全面满足新型生产核心场景下苛刻要求。

新的目录树结构Fileset能够在CPFS文件系统和OSS之间传输POSIX元数据，这允许您在CPFS和OSS之间维护POSIX权限、所有权和时间戳。有关更多信息，请参阅"数据流动概述新的控制台页面和OpenAPI，为您提供创建、管理、监控CPFS文件系统与其链接的OSS bucket之间的数据传输。有关更多信息，请参阅CPFS OpenAPI参考文档。相较通过ossfs工具将数据从OSS导入CPFS文件系统，导入速度提高了10倍以上，使您在使用数据前只需要等待很短的时间。

分布式数据库，已经进入了全面快速发展阶段，这种发展，是与时俱进的，与人的需求是分不开的，因为现在信息时代的高速发展，导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈，因为MySQL数据库，实质上，还是一个单机版本的数据库，而只要是单机，就必然会遇到的一个问题就是存储问题，因为存储是硬需求，而CPU和内存如果不够的话，只是性能不好，并不会直接否定方案或者架构。

技术选型是由技术方向和业务场景 trade-off 决定的，脱离业务场景来说技术选型是没有任何意义的，所以本文只是阐述了伴鱼技术团队数据库选型的过程，这并不是 MySQL、MongoDB 和 TiDB 之间直接的比较，只能说明 TiDB 更适合伴鱼的业务场景和技术规划，另外由于 TiDB 是非常新的数据库技术，所以这也能体现出伴鱼技术团队对新技术的态度、技术后发优势的理解、成本与效率的衡权和技术生态与红利的思考。

IDC 预测，2018年到2025年间，全球产生的数据量将会从33 ZB增长到175 ZB，其中超过80%为非结构化数据，并且每年将以指数级趋势递增。数字化汪洋之上，海雾弥漫，遮天蔽日，组织如何冲破重重阻碍，实现对非结构化数据的存储、挖掘和洞察呢？

存储研发工程师和数据开发工程师

MooseFS是一个容错的网络分布式文件系统。将数据分散在多个物理服务器中，但对于用户其实是作为一个可见资源。

. 故障现场 通过监控发现集群状态是HEALTH_ERR状态， 并且发现mds0: Metadata damage detected。 顾名思义，猜测应该是元信息损坏导致的。

理解 COW 事务，必须首先理解 COW 和事务这两个术语。一、事务与COW什么事务？        事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。事务通常由高级数据库操纵语言或编程语言（如SQL，C++或Java）书写的用户程序的执行所引起，并用形如begin transaction和end transaction语句（或函数调用）来

Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为软链接又称符号链接（Symbolic Link）。一、硬链接   硬连接指通过索引节点来进行连接。所以硬链接与源文件共用一个索引节点对象，不共用file对象，不共用dentry对象。   在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)

功能：路径名解析      这是一个基本的路径名解析函数，将一个路径名最终转化为一个dentry；成功返回0，并将分量保存在nd中。主要数据结构：struct qstr { /* 用来存放路径名中当前节点的名,长度 */ unsigned int hash; unsigned int len; const unsigned char *name;};struct

与 索引节点inode对象关联的方法称为索引节点操作，由struct inode_operations 结构体描述，该结构的地址存放在inode结构体域变量i_op字段中，struct inode_operations具体描述如下：struct inode_operations { struct dentry * (*lookup) (struct inode *,struct dentr

一、引言        struct file代表一个打开的文件，在执行file_operation中的open操作时被创建，这里需要注意的是与用户空间inode指针的区别，一个在内核，而file指针在用户空间，由c库来定义。        file结构体是文件系统的主要数据结构，每个file实例都包含一个指向file_operations结构体的指针，该结构保存了指向所有可能文件系统

IO调度器（IO Scheduler）是操作系统用来决定块设备上IO操作提交顺序的方法。存在的目的有两个，一是提高IO吞吐量，二是降低IO响应时间。然而IO吞吐量和IO响应时间往往是矛盾的，为了尽量平衡这两者，IO调度器提供了多种调度算法来适应不同的IO请求场景。其中，对数据库这种随机读写的场景最有利的算法是DEANLINE。接着我们按照从简单到复杂的顺序，迅速扫一下Linux 2.6内核提供的几

跟踪大型分布式系统的性能问题，从本质上来讲是复杂的。应用为什么慢？瓶颈在哪里？以我的经验，最主要的罪魁祸首之一是高IO等待（即high IO wait）。换一个地方用Dr. Seuss的话来说：每个人都只是在等。

该篇实例是摘自网络（无法追根溯源倒低是哪位“前”辈写的了）一、应用层uint16 data16;if ((fd = socket(AF_INET, SOCK_STREAM, 0)) {    printf("socket failed\n\r");}if(ioctl(fd, SIOCSIFVLAN_PVID_PRI, &data16) {    printf("

为了提高从磁盘读取数据到内存的效率，引入了IO向量机制，IO向量即struct iovec，在API接口在readv和writev中使用，当然其他地方也较多的使用它。

Sysctl是一种用户应用来设置和获得运行时内核的配置参数的一种有效方式，通过这种方式，用户应用可以在内核运行的任何时刻来改变内核的配置参数，也可以在任何时候获得内核的配置参数。

延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。 (1) sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓

服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。（3）IO多路复用（IO Multiplexi

文件系统IO分为DirectIO和BufferIO,其中BufferIO也叫Normal IO。1. 缓存IO       缓存I/O又被称作标准I/O，大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，数据先从磁盘复制到内核空间的缓冲区，然后从内核空间缓冲区复制到应用程序的地址空间。       读操作：操作系统检查内核

I/O顺序问题是一个比较综合的问题，它涉及的层次比较多，从VFS page cache到I/O调度算法，从IO子系统到存储外设。而Linux I/O barrier就是其中重要的一部分。    可能很多人认为，在做了文件写操作后，调用fsycn就能保证数据可靠地写入磁盘。大多数情况下，确实如此。但是，由于缓存的存在，fsycn这些同步操作，并不能保证存储设备把数据写入非易失性介质。如果此时

Linux中I/O设备分为两类：块设备和字符设备。两种设备本身没有严格限制，但是，基于不同的功能进行了分类。(1) 字符设备：提供连续的数据流，应用程序可以顺序读取，通常不支持随机存取。相反，此类设备支持按字节/字符来读写数据。举例来说，调制解调器是典型的字符设备。(2) 块设备：应用程序可以随机访问设备数据，程序可自行确定读取数据的位置。硬盘是典型的块设备，应用程序可以寻址磁盘上

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://alanwu.blog.51cto.com/3652632/1109952 writeback机制模型 在Linux-3.2新内核中，page cache和buffer cache的刷新机制发生了改变。放弃了原有的pdflush机制，改成了bdi_writeba

linux中有很多种文件系统，如，ext2，ext3，ext3，sysfs，procfs等。每种文件系统都有自己的特性。       linux文件系统体系结构通过使用一组通用的API函数，实现了对不同具体文件系统的抽象化。一、文件系统的体系结构        图1中显示了用户空间和内核中与文件系统相关的主要组件之间的关系         图1文件系统的体系结构

/********************************************** * Author: [email protected] * File name: kset_sample.c * Description: kset example * Date: 2011-12-10 **************************************

sysfs文件系统下的每个目录对应于一个kobj，kset是kobj的封装，内嵌了一个kobj，其代表kset自身，ktype代表属性操作集，但由于通用性，因此把ktype单独剥离出来，kobj，kset，ktype成为了各个驱动模型最底层的关联元素，并由此形成了sys下的各种拓扑结构。

SystemTap的架构SystemTap用于检查运行的内核的两种方法是 Kprobes和 返回探针。但是理解任何内核的最关键要素是内核的映射，它提供符号信息（比如函数、变量以及它们的地址）。有了内核映射之后，就可以解决任何符号的地址，以及更改探针的行为。Kprobes从 2.6.9 版本开始就添加到主流的 Linux 内核中，并且为探测内核提供一般性服务。它提供一些不同的服务，但最重要的

缓存是“存贮数据（使用频繁的数据）的临时地方“，因为取原始数据的代价太大了，而通过缓存可以取得快一些。