- 博客(517)
- 资源 (21)
- 收藏
- 关注
RSS订阅
原创 巴厘岛行记（六）——蓝梦岛
欢迎览阅《巴厘行记》系列文章蓝梦岛作为本次旅行的压轴之行，自然是早早准备，早上7：30集合，偷了10分钟去享用了一下inaya的早餐，确实很不错。早餐是自助形式，中西印式餐点都一应俱全。侍者服务意识非常好，我进来先用帽子落位，然后赶去选菜点，端回来时，刀叉、纸巾就已经摆放整齐。时间有限，我也就随手挑了几样，抓紧消灭。早餐厅暴露左撇子习惯了本次蓝梦岛，我又“从”了波哥，选了三处离岸浮潜+环岛+恶魔之泪+海滩俱乐部套餐。
2024-01-30 10:19:57
771
原创 【重识云原生】第三章云存储第一节——分布式云存储总述
分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来提供使用与大规模，高并发场景下的 Web 访问问题。它 采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其数据量大而资本积累少，而通常都使用大规模分布式存储系统。...
2022-03-29 23:26:08
9334
2
原创 【云原生布道系列】第一篇：不谋全局不足以谋一域
云原生概念这几年非常火爆，本人因有幸参与公司云原生转型项目调研，开始接触这一庞大技术体系，再通过与同业、各大头部云厂商超过150场的密集研讨交流，方得初窥全貌。同时，也看到业界对云原生体系的解读纷繁庞杂，慎思之下便有此文。一、云原生定义界定 关于云原生的定义有多次发展，从Pivotal公司的Matt Stine于2013年首次提出云原生（CloudNative）的概念，到2015年，云原生刚推广时，Matt Stine在《迁移到云原生架构》一书中定义了符合云原生架构的几个特征：1.......
2022-02-23 23:23:40
8625
13
原创 【云原生布道系列】第三篇：“软”饭“硬”吃的计算
首先援引一段《虚拟化技术发展编年史》中针对虚拟化技术的定义：在计算机科学中，虚拟化技术（Virtualization）是一种资源管理（优化）技术，将计算机的各种物理资源（例如CPU、内存、磁盘空间，以及网络适配器等I/O设备）予以抽象、转换，然后呈现出一个可供分割并任意组合为一个或多个（虚拟）计算机的配置环境。虚拟化技术打破了计算机内部硬件实体结构不可分割的物理实体障碍，使用户能够以更灵活、更精细化的配置方式来使用硬件资源，即现下常提到的硬件变的软件“可定义”了。其实，早在1974年，
2025-01-20 16:01:37
1246
1
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.5-Ustore最佳实践方案
存储引擎会对数据库整体效率和性能具有巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。
2024-11-04 18:00:00
295
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.4-Ustore存储数据组织
openGauss行引擎采用Ustore原地更新引擎(in-place update)设计，支持 MVCC(Multi- Version Concurrency Control，多版本并发控制)，同时支持本地和与分离的部署方式。行引擎的特点是支持高并发读写，时延小，适合 OLTP交易类业务场景。openGauss的行引擎在设计上支持 MVCC，采用集中式垃圾版本回收机制，可以提供 OLTP业务系统的高并发读写要求，支持分离架构，层异步回放日志。
2024-11-04 08:30:00
718
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.3-Ustore引擎
Ustore属于In-place Update更新模式，中文意思为：原地更新，是openGauss内核新增的一种存储模式。openGauss内核当前使用的行引擎采用的是Append Update（追加更新）模式，该模式在INSERT、DELETE、HOT UPDATE（页面内更新）的场景下有较好的表现。但对于非HOT UPDATE场景，垃圾回收不够高效。In-place Update存储模式提供“原地更新”能力，主要思路是将最新版本的“有效数据”和历史版本的“垃圾数据”分离存储。
2024-10-31 18:00:00
162
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.2-Astore存储引擎剖析
Astore（追加存储）是一种主要用于日志型数据库的存储方法，数据在这种存储模型下是以追加的方式进行存储的。这意味着每当有新的数据需要写入时，它们会被追加到现有数据的末尾，而不是覆盖旧的数据。Astore 的特点包括：适用场景：1.1 astore整体框架astore整体框架如图1-1所示。如上所述，作为行存储子格式之一，astore需要实现自己的堆表存取（访存）管理接口、堆表页面结构、堆表元组结构、元组多版本机制，以及空闲空间管理和回收机制。
2024-10-31 08:30:00
1757
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.1-openGauss存储引擎层关键技术方案
从整个数据库服务的组成构架来看，存储引擎向上对接SQL引擎，为SQL引擎提供或接收标准化的数据格式（元组或向量数组）；向下对接存储介质，按照特定的数据组织方式，以页面、列存储单元（CU，compression unit）或其他形式为单位，通过存储介质提供的特定接口，对存储介质中的数据完成读、写操作。在此基础之上，存储引擎通过日志系统提供数据的持久化和可靠性能力；通过并发控制（事务）系统保证同时执行的、多个读写操作之间的原子性、一致性和隔离性；通过索引系统提供对特定数据的加速寻址和查询能力；
2024-10-30 18:00:00
146
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.1-GaussDB存储引擎层关键技术方案
GaussDB整个系统设计是可插拔、自组装的，支持多个存储引擎以满足不同场景的业务诉求。当前Gauss存储行存储列存储内存引擎，主要面向极致性能场景设计，例如银行风控场景。创建表的时候可以指定为行存储引擎表、列存储引擎表、内存引擎表，支持一个事务中包含对三种引擎表的 DML操作，可以保证事务的 ACID性质。从整个数据库服务的组成构架来看，存储引擎向上对接SQL引擎，为SQL引擎提供或接收标准化的数据格式（元组或向量数组）；
2024-10-30 08:30:00
171
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.3-数据计算路由层关键技术方案
这条语句，索引扫描需要访问索引中的全部数据和表中的全部数据，并且带来巨量的随机I/O，而全表扫描只需要顺序的访问表中的全部数据，因此在这种情况下，全表扫描的代价更低。多表路径问题核心为Join Order，这是NP（Nondeterministic Polynomially，非确定性多项式）类问题，在多个关系连接中找出最优路径，比较常用的算法是基于代价的动态规划算法，随着关联表个数的增多，会发生表搜索空间膨胀的问题，进而影响优化器路径选择的效率，可以采用基于代价的遗传算法等随机搜索算法来解决。
2024-10-29 18:00:00
1090
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.1-架构概览
GaussDB在架构设计上，采用组件化原则，分为GaussDB Kernel内核和GaussDB Kernel OM两部分。在产品形态上，提供面向云数据库服务GaussDB（for openGauss）的分布式安装包和集中式安装包，提供面向本地化安装的小型化安装包。根据华为云提供的调查报告，当前全球数据库市场增长超预期，云是数据库增长最重要驱动力。
2024-10-28 18:00:00
1692
原创 【云原生进阶之数据库技术】第四章-GaussDB-1-简介
华为公司研究数据库是从满足生产实践出发,从研发用于满足局限场景的较简单架构数据库产品开始,逐步向通用性、可规模商用的数据库产品演进,到2019年终于正式发布面向企业客户场景的通用分布式数据库产品。
2024-10-28 08:30:00
2177
原创 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.1-架构概览
GaussDB在架构设计上，采用组件化原则，分为GaussDB Kernel内核和GaussDB Kernel OM两部分。在产品形态上，提供面向云数据库服务GaussDB（for openGauss）的分布式安装包和集中式安装包，提供面向本地化安装的小型化安装包。根据华为云提供的调查报告，当前全球数据库市场增长超预期，云是数据库增长最重要驱动力。
2024-10-27 20:30:49
209
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.4-RAC技术
RAC(real application clusters)：整个集群系统又分为 oracle Clusterware (集群就绪软件)和 Real Application(RA) 两大部分组成。rac 是 Oracle 数据库的高可用集群。传统数据库一个实例一个数据库， RAC 是多个实例，一个数据库，多个实例之间共享一个数据库，但不是分布式。
2024-06-12 08:30:00
2319
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.9-闪回归档FDA技术
从Oracle Database 11g开始，Oracle 提供了一个这样的功能：闪回数据归档（Flashback Data Archive）。通过这一功能Oracle数据库可以将UNDO数据进行归档，从而提供全面的历史数据查询，也因此Oracle引入一个新的概念Oracle Total Recall，也即Oracle全面回忆功能。
2024-06-11 15:00:00
738
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.8-闪回事务技术
闪回事务又名撤销事务（Backout Transaction），能够撤销一个或多个事务的修改，其功能由一个名为DBMS_FLASHBACK.TRANSACTION_BACKOUT的存储过程实现。该存储过程的工作原理是自动分析重做日志，挖掘出变更前的值用以构建撤销SQL（Undo SQL），然后执行撤销SQL最后达到撤销事务的目的。为使用该功能，至少需要事先启用主键补充日志。另外，为了能够跟踪外键依赖还需要启用外键补充日志。
2024-06-11 10:00:00
843
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.7-闪回事务查询技术
闪回事务查询是通过数据字典视图flashback_transaction_query来查询历史事务相关元数据，并且可以通过该视图的undo_sql字段会给出相应的SQL从逻辑层面撤销事务。闪回事务查询实际上是闪回版本查询的一个扩充，通过它可以审计某个事务甚至 撤销 一个已经提交的事务。flashback_transaction_query包含对数据库执行的所有更改，包括DDL操作。由于undo表空间有限，因此flashback_transaction_query中只包含一部分事物。
2024-06-10 15:00:00
254
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.6-闪回查询技术
Oracle提供了四种可供使用的闪回技术（闪回查询，闪回删除，闪回归档，闪回数据库），每种都有不同的底层体系结构支撑，但其实这四种不同的闪回技术部分功能是有重叠的，使用时也需要根据实际场景合理选择最合适的闪回功能。其中，以表为单位查询其过去的数据称为闪回查询，闪回查询能够在undo段内搜索“旧”数据，数据库能够保留多少undo数据决定了闪回查询的时间窗口的大小。
2024-06-10 11:15:00
1999
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.5-闪回表技术
闪回表就是对表的数据做回退，回退到之前的某个时间点，其利用的是undo的历史数据，与undo_retention设置有关，默认是14400分钟（1天）。同样，sys用户表空间不支持闪回表，要想表闪回，需要允许表启动行迁移(row movement)。
2024-06-09 15:00:00
197
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.4-闪回删除技术
Oracle的Flashback Drop闪回删除是用来撤销drop table语句的，其原理和windows的回收站相同。当执行drop table语句时，oracle并不会将表删除，而是将表及相关对象重命名并放入回收站。回收站中的对象可以像普通表一样查询。恢复被错误drop掉的表。当一张表被删除后，依然可以查看被drop表的内容，是通过查看回收站中的内容实现的。被删除的表将被存在一个叫recyclebin回收站的地方，当drop掉表后，实际上就是将改表改了个名字。
2024-06-09 10:00:00
860
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.3-闪回数据库技术
闪回数据库技术是一种快速的数据库恢复方案，这种恢复是基于用户的逻辑错误此时通常是将数据库恢复到之前的某一个时间点。相比于原始的恢复方式需要先备份数据文件，再使用归档日志恢复到以前的时间点。闪回日志由oracle自动创建，并保存于闪回恢复区中，由闪回恢复区管理，因为是自动管理的，所以如果闪回恢复区空间不足，闪回日志也会自动删除。所以闪回恢复区应该适当的设置的大一点。
2024-06-08 16:00:00
1099
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.2-闪回技术实现原理
Oracle闪回技术主要由3类底层技术支撑，分别是基于undo的闪回，基于回收站的闪回和基于闪回日志的闪回，下面我们将分别介绍。
2024-06-08 10:00:00
955
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.3.1-Flashback闪回技术总述
闪回技术（Flashback）是Oracle数据库提供的基于时间点或SCN（System Change Number）回滚数据的技术。它比常规的恢复方式（如备份、日志应用）更快、更方便，也可以回滚到秒级别。任何预防措施都无法避免人为失误的发生。Oracle 数据库闪回技术是一组独特而丰富的数据恢复解决方案，能够有选择性地高效撤销一个错误的影响，从人为错误中恢复。在采用闪回技术之前，损坏数据库只需数分钟，而要恢复它则需要数小时。有了闪回技术，纠正错误只需要数分钟的时间。
2024-06-07 18:00:00
1332
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.2-Oracle集群心跳机制
Oracle集群如何维护集群的一致性，所谓的集群一致性就是指集群中每个成员能够了解其他成员的状态，而且每个成员获得的集群中其他节点的状态和集群中节点成员列表信息是一致的，这也是集群最基本的要求。
2024-06-07 11:15:00
176
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.6.1-Oracle长连接
在 Oracle 数据库应用中，长连接是一个重要的概念。正确使用长连接可以提高应用的性能，同时也可以提升数据库连接的可靠性和可伸缩性。在本文中，我们介绍了长连接的概念，并且讨论了如何在 Oracle 数据库中实现长连接的持久性、可靠性和可伸缩性。通过正确使用长连接，我们可以提升数据库应用程序的性能和可靠性，并且减少额外的开销。
2024-06-06 11:15:00
170
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.5-进程架构
Oracle是典型的多进程数据库。oracle实例运行起来后，会同时启动很，由不同的进程负责不同的操作。Oracle数据库的进程架构取决于操作系统和数据库配置选择。比如，为用户配置专用服务器连接或者共享服务器连接。在使用共享服务器连接时，每个服务器进程都能为多个客户端进程提供服务。
2024-06-06 08:30:00
1176
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.4.2-SGA架构
SGA是一块可读写内存区域，与Oracle后台进程（background processes）一起构成了数据库实例。所有代表用户执行的服务器进程都能读取实例SGA里的信息。有一些进程能在数据库运行时写入SGA。需要注意的是，服务器和后台进程本身并不在SGA中，而是存在于独立的内存空间中。每个数据库实例都有自己的SGA。Oracle数据库会在实例启动时自动为SGA分配内存，并在实例关闭时回收内存。正如图1，SGA由多个为了满足特定内存分配需求的内存池组成。
2024-06-05 11:15:00
1645
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.4.1-内存架构综述
Oracle Instance是Oracle RDBMS的核心之一，负责RDBMS的管理功能。Oracle Instance主要由内存结构和后台进程组成。数据库实例启动后，Oracle数据库会为其分配一块内存区域并启动相关后台进程。1.1 基本内存结构下图展示了以上内存结构之间的关系。图1 Oracle数据库内存结构1.2 Oracle内存管理内存管理（memory management）涉及到在对数据库的需求发生变化时，维护Oracle实例内存结构的最佳大小。
2024-06-05 08:30:00
106
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.3.5-数据块（Data Blocks）结构剖析
数据块是Oracle最小的存储单位，Oracle数据存放在“块”中。一个块占用一定的磁盘空间。Oracle数据库中的数据块又被称为Oracle块（Oracle block）或者页（page）。数据块是数据块 I/O 的最小单位。特别注意的是，这里的“块”是Oracle的“数据块”，不是操作系统的“块”。Oracle每次请求数据的时候，都是以块为单位。也就是说，Oracle每次请求的数据是块的整数倍。如果Oracle请求的数据量不到一块，Oracle也会读取整个块。
2024-06-04 19:00:00
156
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.3.4-数据区（Extent）结构剖析
数据区表示一系列连续的数据块集合。当一个表、回滚段或临时段创建或需要附加空间时，系统总是为之分配一个新的数据区。一个数据区不能跨越多个文件，因为它包含连续的数据块。使用区的目的是用来保存特定数据类型的数据，也是表中数据增长的基本单位。一个Oracle对象包含至少一个数据区。设置一个表或索引的存储参数包含设置它的数据区大小。在进行存储数据信息的时候，Oracle将分配数据块进行存储，但是不能保证所有分配的数据块都是连续的结构。
2024-06-04 11:30:00
139
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.3.3-段（Segment）结构剖析
数据库中的表在表空间中都由一块单独的磁盘空间区域，称之为段。每一段依次在表空间中有一块初始的磁盘空间区域，成为初始盘区。当段使用完对应的空间时，磁盘空间的另一个单独区域——下一盘区将被启用。如果这一块区域也被使用完，那么还有另一盘区被启用。这个过程会跟随每一个表持续执行，直到整个表空间填充满为止。数据库中的表由一个或多个的段组成，而普通表由一个段组成，分区表则由多个段组成段是由多个数据区构成的，它是为特定的数据库对象（如表段、索引段、回滚段、临时段）分配的一系列数据区。
2024-06-04 08:30:00
1324
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.3.2-表空间结构剖析
表空间是数据库的逻辑划分。任何数据库对象在存储时都必须存储在某个表空间中。表空间对应于若干个磁盘文件，即表空间是由一个或多个磁盘文件构成的。表空间相当于操作系统中的文件夹，也是数据库逻辑结构与物理文件之间的一个映射。每个数据库至少有一个表空间，表空间的大小等于所有从属于它的数据文件大小的总和。在面上，表空间将数据存储在一个或多个数据文件（data files）或临时文件（temp files）中。数据库必须有 SYSTEM 和 SYSAUX 表空间。
2024-06-03 11:30:00
170
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.3.1-逻辑结构综述
Oracle的逻辑结构是一种层次结构。主要由：表空间、段、区和数据块等概念组成。逻辑结构是面向用户的，用户使用Oracle开发应用程序使用的就是逻辑结构。数据库存储层次结构及其构成关系,结构对象也从数据块到表空间形成了不同层次的粒度关系。oracle数据库在逻辑上是由多个表间组成的，表空间中存储的对象叫段，比如数据段，索引段，和回退段。段由区组成，区是磁盘分配的最小单位。段的增大是通过增加区的个数来实现的。每个区的大小是数据块大小的整数倍，区的大小可以不相同；数据块是数据库中最小的I/O单位.
2024-06-03 08:30:00
319
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.2.7-跟踪与告警文件解析
跟踪日志文件又叫做跟踪文件，每个服务器进程和后台进程都会写跟踪文件，当后台进程检测到错误时，Oracle会将错误信息写到跟踪文件中。Oracle跟踪文件中包含了大量而详细的诊断和调试信息，因此通过对跟踪文件的解读和分析，我们可以定位问题、分析问题和解决问题，可分析后台进程是否发生错误。跟踪文件又可以分为两类：一类是数据库的操作人员有意生成的；另一类则是由于出现了异常错误，由数据库自动生成的。对于后一类，只对Oracle内部的技术支持人员是有用的，但对于我们，则多半看不懂。
2024-06-02 11:45:00
136
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.2.6-归档日志文件解析
Oracle将填满的联机日志文件复制到一个或多个路径进行存储的过程称为归档，这样生成的文件也叫做归档日志文件。存放归档文件的路径叫归档路径，只有数据库是运行在归档模式的场景下才能进行归档，归档的过程通常情况下由归档进程自动完成。一个数据库可以有一个或多个归档进程，归档进程的数量有初始化参数LOG_ARCHIVE_MAX_PROCESSES进行控制归档日志文件是历史联机重做日志文件的集合，是联机重做日志文件被覆盖之前备份的副本。
2024-06-02 08:45:00
267
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.2.5-联机重做日志文件解析
日志文件是Oracle数据库的事务日志，用于记录数据库的变更操作。它包含了所有已提交的事务的更改信息，包括INSERT、UPDATE、DELETE等操作。日志文件的主要作用是支持数据库的恢复和故障恢复。Oracle数据库有两种类型的日志文件：联机重做日志文件（Online Redo Log File）和归档日志文件（Archive Redo Log File）。联机重做日志文件是当前正在使用的日志文件，它记录了正在进行中的事务的更改操作。
2024-06-01 12:00:00
1964
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.2.4-控制文件解析
控制文件是记录数据库结构信息的重要的二进制文件，由Oracle系统进行读写操作，DBA 不能直接操作控制文件。控制文件是Oracle数据库的关键元数据之一，用于记录数据库的结构信息和运行状态。它包含了数据库的名称、创建时间、数据文件列表、日志文件列表以及重要的数据库参数值等信息。控制文件还记录了数据库的日志序列号，用于实现数据恢复和故障恢复。每个Oracle数据库实例通常有一个或多个控制文件，其中至少有一个是当前的控制文件。
2024-06-01 09:00:00
667
原创 【云原生进阶之数据库技术】第二章-Oracle-原理-4.2.3-数据文件解析
在操作系统层面，Oracle 数据库将数据存储在数据文件中。Oracle 数据库必须至少有一个数据文件。数据文件是数据库中所有数据的实际存储空间，所有数据文件大小的和构成了数据库的大小。根据数据信息类型不同，数据文件分为永久性数据文件和临时数据文件两种。
2024-05-31 12:00:00
1302
哈佛管理技能培训教程 追求卓越——哈佛职业经理人生设计通则
2009-09-05
SnmpSharpNet
2009-07-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人