YashanDB技术解读
文章平均质量分 92
YashanDB
这个作者很懒,什么都没留下…
展开
-
实时分析都靠它→揭秘YashanDB列式存储引擎的技术实现
在列存的基础下,要实现快速的查询分析,首先需要尽可能的过滤数据,减少需要处理的数据量;其中NotNull向量和Offset向量是可选的,NotNull向量用于表示列的空值信息,Offset向量用于记录变长数据的长度信息,以及完成某行数据的快速定位。基于稀疏索引的块级过滤,提前将不满足条件的Block过滤掉,降低了IO/解压/解码/行级过滤/结果集生成等步骤的开销,极大的提升了查询性能。如上图中的PN节点,其本身不持久化任何数据,元数据通过DN获取,数据从对象存储获取,因而可以根据业务需要快速的扩缩。原创 2024-09-14 10:08:39 · 745 阅读 · 0 评论 -
技术干货 | YashanDB+Zabbix搭建监控可视化平台,手把手实操!
Zabbix由几部分构成,Zabbix server、Zabbix proxy、Zabbix agent、Zabbix UI和DB。原创 2024-09-13 18:25:50 · 1007 阅读 · 0 评论 -
依托自研力量,给共享集群存储服务一个优选
YFS作为YashanDB共享集群的存储组件,为了满足集群高可用性而研发,提升了集群存储的IO性能、解决集群元数据同步问题、承载集群部分高可用能力。内核模块确实具备最高的系统权限,可以访问从硬件相关的底层特性,到进程资源、状态等信息,不过YFS是面向YAC这样特定业务的文件系统,服务对象简单的多,在用户态有其他方案可以实现同等效果,而且成本可控。YashanDB共享集群的部署环境较复杂,内核版本繁杂,还有一些厂商定制内核,我们希望YFS是一个便携的服务,不依赖特定的内核版本。原创 2024-09-04 17:01:49 · 1068 阅读 · 0 评论 -
无缝连接!YashanDB DBLink技术应用实践
通过在YashanDB中创建和使用DBLink,我们验证了便捷地通过SQL访问其他的Oracle或者YashanDB数据库实例中的数据,实现方便地跨库数据访问。2)在数据库实例中实现跨实例的数据查询和更新,如Oracle DBLink。7、通过指向Oracle实例的DBLink向Oracle实例的T1表中插入数据、更新数据、删除数据。4、通过DBLink向另一个YashanDB实例的T1表中插入数据、更新数据、删除数据。6、通过指向Oracle实例的DBLink查询Oracle实例T1表中的数据。原创 2024-08-20 09:39:40 · 437 阅读 · 0 评论 -
运维实战来了!如何构建适用于YashanDB的Prometheus Exporter
在3.1小节中,我们通过prometheus.MustRegister(exporter)注册实例后,再通过mux.Handle(*metricsURL, promhttp.HandlerFor(prometheus.DefaultGatherer, opts))就可以完成Metrics接口的构建。综上所述,本方案中实现YashanDB监控的关键点在于——实现适用于YashanDB的Prometheus Exporter,后续我们称其为:YashanDB Exporter。小崖又收到用户投稿啦。原创 2024-08-14 14:48:17 · 783 阅读 · 0 评论 -
担心异构数据库迁移踩“坑”?听听大咖们怎么说
在技术升级和国产化战略的双重推动下,如何将来自Oracle、MySQL等异构数据库的数据无缝迁移至国产数据库,已成为企业持续发展的关键一环。YashanDB Meetup第13期特别邀请首届迁移体验官用户代表、TechTalk社区创始人尚雷,YashanDB 售后服务负责人张建龙,一起探讨数据库迁移之道!以下内容根据直播对话实录整理而成,还有更多想听、想看的内容可以留言告诉我们~原创 2024-08-01 14:38:01 · 447 阅读 · 0 评论 -
崖山异构数据库迁移利器YMP初体验-Oracle迁移YashanDB
崖山迁移平台(YashanDB Migration Platform,YMP)是YashanDB提供的数据库迁移产品,支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。YMP提供可视化服务,用户只需通过简单的界面操作,即可完成从评估到迁移整个流程的执行与监控,实现低门槛、低成本、高效率的异构数据库迁移。原创 2024-07-25 10:28:16 · 1068 阅读 · 0 评论 -
Oracle向YashanDB迁移的丝滑体验
YashanDB提供一站式数据迁移平台YMP(Yashan Migration Platform),支持异构数据库和YashanDB之间的数据迁移,帮助用户便捷地将旧业务系统迁移至YashanDB。崖山数据迁移平台YMP(Yashan Migration Platform),主要覆盖业务场景:评估:分析评估YashanDB与现有数据库系统的兼容情况迁移:对象、数据一键快速迁移。原创 2024-07-24 17:00:26 · 976 阅读 · 0 评论 -
为何共享集群的高可用能力被频频称赞,它的机制有何不同?
数据库系统运行过程中,经常遇到各种各样的故障情况,如存储故障、计算故障、网络故障、人为错误等等。当故障情况发生时,如何尽可能避免数据库服务受到影响、减小影响范围并快速恢复受影响服务,是数据库系统高可用能力的体现。衡量数据库高可用能力有两个关键指标:RTO和RPO。RTO描述数据库服务恢复至可用所需时间,RPO描述数据库恢复至可用数据丢失情况。YashanDB共享集群的高可用表现究竟如何?选取TPCC业务模型,采取两实例集群部署,进行TPCC压测,压力为60万TPMC,持续压测五分钟后,kill某个DB实例。原创 2024-07-24 10:51:31 · 914 阅读 · 0 评论 -
基于YMP工具实现Oracle迁移YashanDB
崖山迁移平台(YashanDB Migration Platform,YMP)是YashanDB提供的数据库迁移产品,支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。YMP提供可视化服务,用户只需通过简单的界面操作,即可完成从评估到迁移整个流程的执行与监控,实现低门槛、低成本、高效率的异构数据库迁移。原创 2024-07-19 12:00:33 · 513 阅读 · 0 评论 -
MySQL生产环境迁移至YashanDB数据库深度体验
崖山迁移平台(YashanDB Migration Platform,下文以YMP代称)是YashanDB提供的数据库迁移产品,支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。YMP提供可视化服务,用户只需通过简单的界面操作,即可完成从评估到迁移整个流程的执行与监控,实现低门槛、低成本、高效率的异构数据库迁移。原创 2024-07-18 15:15:44 · 1168 阅读 · 0 评论 -
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
根据崖山官网介绍,崖山迁移平台(Yashan Migration Platform),简称YMP,是YashanDB提供的数据库迁移产品,支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的功能。另外,YMP提供页面可视化服务,使用者只需通过一些简单的界面操作,即可完成从评估到迁移到数据一致性评估整个流程的执行与监控,整个操作过程门槛比较低,操作比较流畅。原创 2024-07-18 11:18:55 · 1202 阅读 · 0 评论 -
如何高效使用YashanDB PL语言?这5点建议值得收藏
PL语言(Procedural Language) 是一种程序语言, 又称过程化结构查询语言,它是一种建立在普通SQL语言之上的编程语言。讨论PL语言是一个有意思的话题,因为软件行业被大数据、组件化的思想浪潮捶打过多年,所以多数从业人员一旦提及PL语言,都会在心里冒出一句疑问,“那不是已经过时的语言?”那为什么YashanDB还要选择开发PL语言?正所谓仁者乐山,智者乐水,笔者的观点是:在技术领域,没有绝对的对错之分,关键在于是否合适。物竞天择,在软件行业,最合适应用业务实现的技术会用行动来原创 2024-07-11 09:38:41 · 547 阅读 · 0 评论 -
小特性 大用途 —— YashanDB JDBC驱动的这些特性你都get了吗?
这种智能识别机制确保了在主节点发生故障时,JDBC驱动能够无缝切换到新的主节点,维持数据库连接的持续性和稳定性。值得注意的是,这种配置确保连接仅指向主节点,避免了连接到备用节点可能导致的写操作问题。这些特性使得YashanDB在面对企业级应用的稳定性和性能挑战时,展现出卓越的适应性和灵活性,对开发者来说更是一大福音——,为用户带来了简洁而强大的解决方案,以实现数据库连接的高可用性和负载均衡,满足。,实现业务的读写分离和读业务的负载均衡,从而显著提升系统性能。,为企业的稳定运行提供坚实的技术支撑!原创 2024-07-10 18:10:45 · 437 阅读 · 0 评论 -
自研一款共享集群数据库,有多难?
共享集群数据库管理系统是一种单库多实例的多活数据库管理系统,用户连接任意实例都可以访问同一个数据库,具备透明多写、高可用、高性能等特性。共享集群技术因其开发难度高,一直被国外垄断,也被称为数据库领域的“塔尖”技术。2023年,YashanDB正式发布共享集群产品形态,实现了国产数据库在高端领域“零”的突破。本次共享集群系列文章将围绕YashanDB共享集群,深入探讨架构原理、关键技术以及运维管理等核心内容。原创 2024-06-26 14:39:08 · 897 阅读 · 0 评论 -
迁移方案详解|使用YMP从异构数据库迁移到YashanDB
在国产化浪潮下,数据库系统的国产化替代成为了一个日益重要的议题,有助于企业降低对外依赖,提升信息安全和自主性。以Oracle、MySQL为代表的传统关系型数据库管理系统,在企业应用中占据了重要的地位。如何从异构的Oracle、MySQL等数据库将存量的数据迁移至国产数据库,是企业技术升级和国产化战略中不可或缺的一环。以一个离线场景为例,通常以“可行性评估”→“方案设计”→“迁移实施”→“割接上线”四个步骤来完成一整个迁移过程。图1 数据库离线迁移步骤。原创 2024-06-25 17:00:53 · 727 阅读 · 0 评论 -
SQL查询太慢?实战讲解YashanDB SQL调优思路
说起 SQL 调优,不少人认为是个高难度的事情,让人望而却步。但其实在日常的运维过程中,慢 SQL 却是一个常见的问题,这时大家或多或少会用到一些常用的调优手段,比如加索引、调整执行计划等。接下来,我们将通过三大环节详细讲解如何发现、分析和优化 “慢 SQL”,具体包括利用慢日志定位问题、分析执行计划并可通过 hint 手段人为调整优化、以及有效搜集统计信息优化执行计划等。这个通用思路可以在遇到性能问题时,提供一种可行的解决方案,帮助大家尝试着手解决问题。很多时候 SQL 突然变慢,可能是执行计划改变了。原创 2024-05-31 14:48:23 · 1058 阅读 · 0 评论 -
高效查询秘诀,解码YashanDB优化器分组查询优化手段
除了以上介绍的基本优化之外,YashanDB优化器对分组操作还做了一些其他的优化,比如:Group by下推,Partition wised group等。对于分析的多维分组,cube、 rollup、 grouping sets等,数据库依据不同的数据分布和多维分组列关系,也做了不同程度优化,本文暂不做过多阐述。本文是Meetup第十期“调优实战专场”的第一篇技术文章,下一篇《YashanDB Meetup系列文章》将带来YashanDB常用的SQL调优思路与手段。原创 2024-05-23 16:56:22 · 749 阅读 · 0 评论