存储资源调优技术——智能数据迁移、智能缓存分区、智能数据缓存技术讲解

已于 2023-10-19 20:48:54 修改
阅读量1.8k 收藏 2
点赞数 1
分类专栏： 存储 文章标签： 存储
于 2023-05-02 09:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49864110/article/details/130449199
版权
SmartMigration是一种在不中断业务的情况下实现数据完整迁移的技术，通过源LUN和目标LUN的Pair关系进行数据同步。SmartPartition是Cache分区技术，确保关键应用性能。而SmartCache利用SSD组成缓存池，优化随机小I/O读写的性能。
摘要由CSDN通过智能技术生成

目录

SmartMigration智能数据迁移技术

基本概念

工作原理

注意事项

SmartPratition智能缓存分区

基本概念

工作原理

SmartCache智能数据缓存技术

SmartMigration智能数据迁移技术

基本概念

智能数据迁移技术是业务迁移的关键技术

在不中断主机业务的情况下，实现源LUN上的业务完整--业务相关的所有数据 迁移到目标LUN上

工作原理

业务数据同步

创建SmartMigration，源LUN和目标LUN之间建立Pair关系，然后进行数据同步。

一个源LUN只能和一个目标LUN建立Pair关系---表示了源与目标LUN之间的数据迁移关系

数据同步方式：（这两种方式是独立的，可以同时进行）

初始同步：源LUN直接将初始业务数据完整拷贝到目标LUN

变更同步：同步过程中，当主机出现业务数据变更时，进行变更同步（不需要中断主机业务）

  1. 主机下发数据写I/O请求至存储侧存储系统的LM模块。
  2. LM模块同时将数据写入源LUN和目标LUN，并将写I/O操作记录至LOG。
  3. 源LUN和目标LUN返回数据写I/O结果至LM模块。
  4. LM模块判定双写结果，判断是否清除LOG。
    • 如果目标LUN写I/O失败，保存LOG至DCL记录数据变更。存储系统将DCL记录的差异数据拷贝至目标LUN，并在拷贝完成后自动清除DCL。
    • 如果源LUN写I/O失败，返回主机写I/O失败，主机重新下发I/O请求，只写入数据至源LUN，并清除LOG记录。
    • 如果双写成功，则直接清除LOG记录。
  5. 返回主机写I/O成功。

LUN信息交换

LUN信息交换是业务信息同步后目标LUN能够顺利代替源LUN来承载业务的前提

LUN信息交换主要针对的是LUN和数据卷之间的映射关系；即源LUN和目标LUN的LUN ID保持不变，将两者的数据卷ID相互交换-----将目标LUN的实际物理空间给了源LUN

存储系统中，每个LUN和对应的数据卷都有属于自己的唯一标识，分别为LUN ID和数据卷ID

其中，LUN ID是逻辑上的概念，数据卷ID是物理上的概念；两者形成一一对应的关系

分裂

针对单个Pair关系，在进行信息交换之后解除数据迁移--Pair关系

Pair解除后，如果主机侧下发I/O请求至存储侧，数据只写入源LUN（源LUN ID指向的数据卷ID为目标数据卷1）；即只向目标LUN的数据卷ID写入数据，不再进行双写。

目标LUN将封存Pair解除时刻源LUN的所有数据（目标LUN ID指向的数据卷ID为源数据卷0）。Pair解除后不能再重新建立联系。

针对多个Pair关系，进行一致性分裂

注意事项

已经映射给应用服务器的LUN不能作为SmartMigratition任务的目标LUN

在使用此特性时，要确保主机操作系统、主机多路径软件、远端存储系统等相互兼容

SmartPratition智能缓存分区

基本概念

本质上就是一种Cache分区技术

通过对系统核心资源的分区（隔离不同业务所需要的缓存资源），保证关键应用的性能

工作原理

用户可以以LUN或文件系统为单位设置SmartPartition分区

每个SmartPartition分区的资源只能被独立访问，互不干扰

SmartCache智能数据缓存技术

基本概念

利用SSD对随机小I/O读写速度快的特点，将SSD盘组成智能缓存池

将访问频率高的随机小I/O读热点数据从传统的机械硬盘移动到智能缓存池中

可以大大缩短热点数据的响应时间

工作原理

将SSD组成智能缓存池

将智能缓存池划分为多个分区

 

静下心来敲木鱼
关注
专栏目录
数据中台的设计模式与实现——探讨数据中台的由来、作用、构成、设计模式以及实践方法
AI天才研究院
07-31 2664
数据中台是一种重要的业务平台模式，它能够将传统的数据仓库、数据湖等多个数据源进行集成和整合，形成统一的数据服务体系，并通过数据驱动的方式，优化公司各个业务部门之间的信息流动、数据共享和价值传递，最终实现数据的价值的最大化转化。数据中台在数据处理流程、数据治理、数据应用、数据服务等方面发挥着越来越重要的作用。在企业数字化过程中，如何构建一个具备高效可靠、数据一致性强、运维自动化程度高的数据中台，是一个值得关注的课题。
存储资源调优技术——异构虚拟化技术讲解
m0_49864110的博客
05-02 1967
在本端存储系统的存储池中，本端存储系统会按虚拟化数据组织形式将映射的外部LUN创建为裸存储设备（裸存储设备就称为eDecLUN）通过设置eDevLUN的伪装属性，应用服务器会将eDevLUN识别为异构存储系统上的LUN，可以实现在线接管。元数据用于对eDevLUN的数据存储位置进行管理（其所需的存储空间由本端提供，约占130MB的空间）数据卷是外部LUN的逻辑抽象（其所需的存储空间由异构存储系统提供，不占用本端）将异构存储系统中的LUN映射给本端存储系统，供本端存储系统使用并管理的过程。
RedisModule剖析 - SmartCache
Q54665642ljf的博客
09-22 366
SmartCache是一款基于实现的数据缓存模块，目前仅支持与 MySQL 进行数据缓存交互。在客户端访问数据的时候，如果该数据不存在于 Redis 中，则 Redis 会向配置的 MySQL 发起数据请求，将数据缓存到本地，并设置一定的过期时间，之后将缓存的数据发送给客户端，从而实现了这种缓存模式。缓存的数据经过格式化处理（格式化方式比较简单，参考下文），因此客户端读取到访问数据后还需要进行额外的转换解析。
存储实验：华为异构存储在线接管与在线数据迁移（Smart Virtualization & Smart Migration 特性）
最新发布
Tassel_YUE的博客
08-16 1325
在线接管第三方厂商异构存储系统时，eDevLUN的伪装属性为“第三方”，仅支持对应用服务器操作系统自带多路径的环境进行接管操作，并且环境中不能同时存在华为UltraPath、赛门铁克SF DMP和Veritas Storage Foundation等能够接管华为存储系统的多路径软件。实现数据存储从旧存储（Oceanstor V2）迁移至新存储（OceanStor V3）的数据迁移实验。注意2：该实验以提前确定过迁移前后系统的兼容性情况，遇到真正的异构厂商存储迁移or未知的厂商存储迁移，请。
存储资源调优技术——智能分级技术、智能服务质量控制技术讲解
m0_49864110的博客
04-30 2083
自动将不同活跃的数据和不同特点的存储介质动态匹配，提高性能。NL-SAS：采用SAS的磁盘接口和SATA的盘体的综合体。SmartTier智能分级技术 　 基本概述 　 工作原理 　 实现SmartThier数据迁移的三个阶段 　 应用场景 SmartQoS智能服务质量控制 　 基本概念 　 两种关键技术 　 应用场景
SmartCache
安柏霖的专栏
12-18 1632
http://www.intel.com/technology/architecture-silicon/core/ 就是可以根据实际情况动态分配cache。比如4M L2 cache share给2核，会根据实际需求来动态分配，一个核用的多，可能全占。
存储资源调优技术——智能精简配置技术
m0_49864110的博客
05-01 3014
Thin Lun属于存储资源的虚拟化，因此需要基于RAID 2.0+存储虚拟资源池创建Thin LUN（Thin LUN和传统的Thick LUN共存于同一个存储资源池中）由于采用Capacity-on-write技术，数据的实际存储区域和逻辑存储区域的关系按照写时分配的原则随机映射确定（不再固定）将大于物理存储空间的容量形态呈现给用户，提高存储资源利用率（不过性能相比于Thick LUN时较低的）所以在对Thin LUN进行读写时需要重定向实际存储区域和逻辑存储区域的映射关系。Thin LUN空间回收。
存储资源调优技术——重删压缩技术
m0_49864110的博客
04-05 2630
减少数据占用的物理存储容量，节省存储空间（会降低性能）Fast 默认压缩算法，快速压缩，节省的空间少。是一种数据缩减技术，通过删除存储系统中的冗余数据块。数据先写入磁盘，磁盘空闲时再读取进行重复数据删除。VDI（桌面虚拟化）应用是重删常见的应用场景。在不丢失信息的前提下，通过对数据进行重新组织。数据先写入磁盘，磁盘空闲时再读取进行数据压缩。只有Thin LUN才支持数据重删压缩技术。数据库、文件服务、工程数据、地震地质数据。数据写入磁盘前进行重复数据删除。数据写入磁盘前进行数据压缩。
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
黑泽君
05-04 2125
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
大数据学习与分享的博客
11-24 494
    RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。     RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resili...
在微服务架构下MySQL设计及优化
AI天才研究院
07-30 1678
微服务”这个词汇已经在最近几年成为最热门的话题之一，其出现也对软件架构和开发模式产生了深远影响。现在越来越多的公司选择使用微服务架构构建应用，特别是在大型互联网公司中，更是不可避免的趋势。微服务架构将单体应用拆分成多个服务，每个服务运行在自己的进程中，彼此之间通过轻量级通信机制(RPC、消息队列等)进行交互。这样做带来的好处显而易见——独立部署，弹性伸缩，模块化开发和维护，更容易应对复杂的业务逻辑。但同时它也带来一些挑战。比如服务间通讯、服务发现、限流熔断、数据一致性、事务处理等。服务间的数据同步。
大数据、云计算系统顶级架构师课程学习路线图
spark798的博客
06-30 1575
大数据之Linux+大数据开发篇 Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗Hive Sqoop Flume/Oozie 大数据WEB工具Hue HBase Storm Scala KafkaSpark Spark核心源码剖析 CM 5.3.x管理 CDH 5.3.x集群 想成为云计算大数据Spark高手，看这里！...
smart cache
weixin_33712987的博客
04-02 304
新的Intel Advanced Smart Cache有效加强多核心架构的效率，传统的双核心设计每个独立的核心都有自己的L2 Cache，但Intel Core微架构则是通过核心内部的Shared Bus Router共用相同的L2 Cache，当CPU 1运算完毕后把结果存在L2 Cache时，CPU 0便可通过Shared Bus Router读取CPU 1...
23、【华为HCIE-Storage】--Smart Migration（源目LUN同一控制器）
weixin_33795833的博客
04-05 839
------------------------------------重要说明------------------------------------以下部分内容来网络，部分自华为存储官方教材具体教材内容请移步华为存储官网进行教材下载 网络引用内容无法找到原创，如有侵权请通知------------------------------------重要说明-------...
数据库迁移同步 | 两地三中心到异地双活演变及关键技术探讨
05-06 1728
冲突解决是异地多活和分布式数据库面临的通用问题，需要在业务架构上尽量避免。DBMotion在数据库同步的时候提供了两种机制，三种策略来辅助客户检测冲突和设置冲突解决策略。
SmartMigration
Jian Sun_的博客
06-04 336
SmartMigration
高效缓存 Smart_cache
北堂飘霜_记录
12-27 312
Smart_cache 断小而精悍，它是线程安全的，并且可以指定缓存过期时间，定期清理过期缓存等功能。当然了如果有复杂而重复的计算，使用它更高效。代码结构比较简单。且好用。Have a try!
智能感知技术在电力数据集群热点处理中的应用
“基于智能感知的电力多元数据集群热点处理研究，旨在解决电力多元数据集群中的热点问题，通过智能感知设备收集数据，进行预处理后形成多元数据集群。通过数据集成、热点聚类和迁移等策略，优化处理热点数据，以提升...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

静下心来敲木鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值