兼具直连存储与分布式存储优势的混合存储方案

最新推荐文章于 2025-05-09 21:08:39 发布
最新推荐文章于 2025-05-09 21:08:39 发布
阅读量694 收藏 10
点赞数 14
分类专栏： 存储 分布式 文章标签： 分布式 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34068440/article/details/147797462
版权

兼具直连存储与分布式存储优势的混合存储方案

一、分层存储架构

  1. ‌热数据本地直存‌

    • 将高频访问的热数据（如数据库事务日志、实时计算中间结果）存储在DAS本地SSD中
    • 利用DAS的低延迟特性提升实时性要求高的业务性能

  2. ‌温冷数据分布式存储‌

    • 低频访问的温冷数据自动迁移至分布式存储集群
    • 通过对象存储/分布式文件系统实现PB级横向扩展能力:

二、虚拟化融合方案

  1. ‌存储资源池化‌

    • 采用Ceph/GlusterFS等分布式存储系统的虚拟化能力
    • 将本地DAS磁盘与分布式存储节点整合为统一逻辑存储池

  2. ‌智能调度机制‌

    • 通过元数据服务器（MDS）动态分析数据访问模式
    • 实现数据在本地SSD与分布式HDD之间的自动分层迁移

三、混合部署模式

  1. ‌存算分离架构‌

    • 关键业务服务器通过NVMe-oF协议直连本地存储设备
    • 非关键数据通过iSCSI/NFS对接分布式存储集群

  2. ‌边缘-核心协同‌

    • 边缘节点部署DAS实现实时数据处理（<2ms延迟）
    • 核心数据中心构建Ceph集群进行持久化存储

四、关键技术支撑

技术组件实现功能典型场景
分布式缓存层本地SSD作为分布式存储的读写缓存加速小文件随机访问
智能分层策略基于LRU算法自动调整数据存储层级冷热数据生命周期管理
统一管理平台可视化监控混合存储资源状态跨存储类型运维管理

方案优势

NVMe-oF/RDMA
EC编码/多副本
本地DAS
低延迟读写
分布式存储
高可靠性
统一存储池
智能数据调度引擎
图文存储常识：单机、集中、分布式、云、云原生存储
数据库技术
12-18 886
背景 本文主要对杨传辉（日照）《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理，意在构建出存储发展基本轨迹和一些基本常识，让更多像我一样的初入者有个宏观上的认知。 存储发展史 从单机到互联网，存储作为的基础设施，主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进，时至今日，在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储 各阶段存储的基本形态如下 各阶段基本形态 存储数据分类 & 模型 无论单机
分布式，集中式，云原生存储技术
吴建明wujianming_110117
03-27 2397
分布式，集中式，云原生存储 分布式存储软件是真正的统一存储，实现同一套存储系统为上层应用提供块、文件和对象三种数据服务，满足业务对结构化和非结构化数据的存放需求，内置数据保护功能，例如：备份、容灾等，分布式存储提供多种企业级特性，包括快照、精简配置、备份、加密、压缩、QoS等，帮助企业轻松应对业务快速变化时的信息灵活、可靠存取的需求。 架构师技术联盟的文章 https://mp.weixin.qq.com/s/s1zE7p9BXxFlKXCK71n_KA 产品特点 云企业级统一分布式存储 资源共享： 可以
【云存储】SDS软件定义存储，数据存储的类型与技术方案（块/文件/对象，Ceph、RBD等）
小哈里的博客
08-09 1618
【云存储】SDS软件定义存储，数据存储的类型与技术方案（块/文件/对象，Ceph、RBD等） 文章目录 1、分布式存储架构（软件定义存储SDS，超融合基础架构HCI） 2、存储类型（块存储，文件存储，对象存储） 3、存储技术与解决方案（RDB，Ceph，HDFS等等）
单机、集中、分布式、云、云原生存储
顺其自然~专栏
12-28 878
从单机到互联网，存储作为的基础设施，主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进，时至今日，在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储。云原生存储脱胎于云存储，除具备云存储的特性外、须满足具备云原生生态系统中其他所有组件具备相同的动态（公共云/专有云/混合云等场景）构建可扩展应用、S3 API 驱动、K8S友好等。，上层通过Internet形式提供存储服务，除具备分布式存储基础特性外，更兼具灵活性，通常由云厂商提供。云存储，是一种云计算领域存储服务方式，
聊一聊单机、集中式、分布式和云原生存储
朱小厮的博客
02-03 1281
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取后台回复“k8s”，可领取k8s资料背景本文主要对杨传辉（日照）《大规模分布式存储系统原理解析与架构实战》、大...
单机、集中式、分布式和云原生存储
weixin_45727359的博客
02-01 409
背景本文主要对杨传辉（日照）《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理，意在构建出存储发展基本轨迹和一些基本常识，让更多像我一样...
从望尘莫及到奋起直追，中国存储突围记！
大数据在线
02-12 853
时光荏苒、白驹过隙，中国存储产业已然走过二十余载，逐步实现从无到有、从弱到强的产业突围。
块存储、文件存储、对象存储的差别及优缺点
kingx3的博客
08-28 1546
外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-Attached Storage，简称FAS）；网络化存储根据传输协议又分为：网络接入存储（Network-Attached Storage，简称NAS）和存储区域网络（Storage Area Network，简称SAN）。
【论文翻译】(KV存储引擎设计)：Fast Scans on Key-Value Stores
weixin_39966701的博客
03-27 1098
摘要 kv存储引擎近些年越来越受欢迎，因为它可以弹性地扩缩容，对于get/put可以维持高吞吐量，有更低的延迟。这些得益于它的简单，然而简单也带来一定的代价：目前的kv存储系统不能很好的支持scan性能， 所以它不适用于处理复杂、分析型的query。分析型的query要求更好的数据局部性，然而get/put的高吞吐要求离散的索引。这篇paper展示了一种折中的方式可以兼具两者。讲述了分布式kv存...
TiDB x 北京银行丨新一代分布式数据库的探索与实践
weixin_42241611的博客
06-03 955
目前，最大记录表的交易数已超过 20 亿条，完全满足高性能的金融业务的要求。是独立于现有银行间支付清算机构的新平台，根据中国人民银行“断直连”的要求，北京银行对业务和系统进行了整合，基于 TiDB 分布式数据库研发了网联支付清算平台，提供联机报文处理、批量对账处理等功能，实现了“断直连”汇聚三方支付的处理能力。2023 年北京银行的客户数量突破了一个亿，随着客户数量、账户数量、业务交易量的持续上升，在业务场景多元化的演进下，传统数据库遇到了很多限制，比如数据的规模化存储、交易 TPS 的持续攀升等。
《Zabbix Proxy分布式监控实战：从安装到配置全解析》
hnlucky的博客
05-08 806
本实验旨在搭建一个基于Zabbix的监控系统，通过安装和配置Zabbix Proxy、MySQL数据库以及Zabbix Agent，实现分布式监控环境的部署。实验的主要目标是：安装并配置Zabbix Proxy与MySQL数据库的集成。配置Zabbix Server与Proxy的通信。部署Zabbix Agent并验证其与Zabbix Proxy的连接。通过Zabbix Web界面管理监控主机和代理。Zabbix Proxy安装解决MySQL密钥问题，安装Zabbix Proxy的MySQL版本。
什么是分布式光伏系统？屋顶分布式光伏如何并网？
WX18702112873的博客
05-09 298
在政策窗口关闭前，安科瑞Acrel-1000DP分布式光伏解决方案已助力全国27个光伏项目成功并网！唯有掌握"技术+运营+收益"三位一体能力的玩家，方能逆势突围。面对市场化交易与现货定价，单一光伏模式已成过去式。▸ 智能执行"削峰填谷"策略，节省30%+电费支出。2025年，中国分布式光伏行业迎来关键转折：。——电价彻底告别补贴，现货市场博弈时代开启。▸ 设备健康度AI评估，运维成本降低40%：可测、可控、可调，满足电网调度刚性需求。▸ 发电量智能预测，精准参与电力交易；——抢装潮收官，但考验才刚开始。
分布式ID设计 数据库主键自增
最新发布
温柔半两，从容一生
05-09 491
本文详细介绍了分布式系统中生成唯一ID的多种方案，重点分析了在分库分表环境下的应用。首先，通过一个电商平台的订单ID生成示例，展示了如何利用MySQL的自增主键和唯一索引特性生成全局唯一ID。接着，探讨了多服务器共享唯一索引的原理，并解释了UUID_SHORT()的高唯一性。针对分库分表场景，提出了四种解决方案：专用ID生成库、号段模式、UUID和雪花算法，并对比了它们的优缺点。最后，总结了分库分表下的最佳实践，建议优先考虑号段模式，并结合数据库分片和监控灾备措施，以确保ID生成的可靠性和性能。
集群/微服务/分布式
sv
05-09 736
定义：集群是指将多个计算机节点（服务器）通过网络连接在一起，协同工作以提供更高的性能、可用性和可扩展性。这些节点通常运行相同的软件或服务，对外呈现为一个统一的系统。特点高可用性：通过冗余的节点部署，当部分节点出现故障时，其他节点可以接管其工作，确保服务不中断。可扩展性：可以根据业务需求方便地添加新的节点到集群中，以提高整体性能和处理能力。负载均衡：能够将工作负载均匀地分配到各个节点上，避免单个节点负载过高，充分利用集群资源。应用场景：广泛应用于各种大规模计算、数据处理、网络服务等领域。
【KWDB 创作者计划】KWDB 2.2.0多模融合架构与分布式时序引擎
weixin_62782025的博客
05-05 1390
KWDB数据库是由开放原子开源基金会孵化的分布式多模数据库，专为AIoT场景设计，支持时序数据、关系数据和非结构化数据的统一管理。其核心架构采用多模融合引擎，集成列式时序存储、行式关系存储及自适应查询优化器，实现跨模型数据的高效关联查询与实时分析。通过动态分片、智能副本及改进的两阶段提交协议，具备千万级设备接入能力和百万级/秒的写入吞吐，同时保障分布式环境下数据一致性与高可用性。
深入浅出理解常见的分布式ID解决方案
qq_74092815的博客
05-07 685
在构建时，如果通过lua执行加载获取失败，则还采取Mybiats-plus的生成策略nextId方法就是获取分布式id的方法，其内部getBase()是更新时间戳的部分，由时间戳部分 | 数据中心部分 | 机器标识部分 | 序列号部分这四个部分组成方法是生成订单编号，使用了基因替换法，来解决在分库分表情况下，使用订单id和用户id查询订单时的全路由问题。
光伏“531”政策倒逼下，光储充一体化系统如何破解分布式光伏收益困局？
AcrelGHP的博客
05-07 1340
AcrelEMS 3.0智慧能源管理平台实时监视分布式光伏、储能系统、充电设施以及各类交直流负荷的运行状态，智能预测发/用电功率，生成优化调度策略，帮助用户充分消纳光伏发电，满足自发自用比例要求，具备防逆流、峰谷套利、降低需量、柔性扩容等多种管理策略。AcrelEMS 3.0平台配合ACCU-100微电网协调控制器或本地微电网能量管理系统Acrel-2000MG，可以实现“云边协同”管理，帮助用户降低源网荷储充一体化系统建造成本，提高运行可靠性和运维管理效率。新政倒逼光伏投资从“躺着赚钱”转向“动态博弈”
java 多核，多线程，分布式 并发编程的现状 :从本身的jdk ,到 spring ,到其它第三方。
zqy216_2008的博客
05-09 330
Java 在多核、多线程和高性能编程领域提供了丰富的现成框架和工具，既有标准库中的并发组件，也有第三方框架。以下是一些关键框架及其应用场景的总结：便于后面我们站在巨人的肩膀上，继续前行
分布式事物
2301_79652490的博客
05-05 702
特性2PC3PCTCCSaga消息队列事务一致性强一致强一致强一致最终一致最终一致阻塞是否否否否容错能力差一般好好好实现复杂度中高高高中编程复杂度低高高高中恢复机制无有有有有适用场景金融、支付理论性资源控制型业务长流程补偿型解耦+异步业务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

临水逸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值