巨杉数据库技术社区

SequoiaDB从「多模数据湖」、「实时数据湖」发展到「湖仓一体」架构，为客户提供「数据核心」所需的全量数据存储，实时对客服务，及基于统一数据源的分析能力，充分激活客户的离线数据。当中，多模数据的融合管理，以及非结构化数据的管理能力是个关键。...

01 前言在最佳实践系列第六篇中，我们利用多副本，实现了OLTP、OLAP的负载隔离。那么，单就OLTP系统而言，能否实现跨引擎事务功能呢？比如我们有2套应用系统，一套基于MySQL开发，一套基于PosgreSQL开发，两个应用系统能否灵活地实现数据互相访问，并且实现事务隔离？在以往，这是不可能完成的。如果非要这样做，则需要将其中一套数据库，进行异构数据迁移，应用程序要做改造（SQL语句、存储过程等）。为了改造后达到兼容，还伴有大量的功能测试、性能测试，这样庞大的工作量，往往令人望而却步，转而.

背景以Docker和Rocket为代表的容器技术现在正变得越来越流行，它改变着公司和用户创建、发布、运行分布式应用的方式，在未来5年将给云计算行业带来它应有的价值。它的诱人之处在于：1）资源独立、隔离资源隔离是云计算平台的最基本需求。Docker通过Linux namespace, cgroup限制了硬件资源与软件运行环境，与宿主机上的其他应用实现了隔离，做到了互不影响。不同应用或服务以“集装箱”（container）为单位装“船”或卸“船”，“集装箱船”（运行container的宿主机或集群.

01 前言在前面的几篇最佳实践中，我们分享了利用巨杉数据库SequoiaDB，实现业务系统同城双中心、两地三中心容灾的最佳实践。在生产系统中，随着数据库集群接入的业务系统数量更多，业务量逐渐增大，对数据库的承载能力也提出了更高的要求。最初搭建的数据库集群，存储资源和计算资源已无法支撑未来的业务需求，这就需要对集群进行扩容。在本次分享中，我们将分上、下两篇，为大家讲解SequoiaDB在线扩容的最佳实践，包含扩容规划、技术原理、操作步骤。从而为数据库系统的容量规划和运维，提供一些指导和建议。.

分布式数据库技术发展多年，但是在应用、业务的驱动下，分布式数据库的架构一直在不断发展和演进。开源金融级分布式数据库SequoiaDB，经过6年的研发，坚持从零开始打造数据库核心引擎。在技术探索中，选择了更适合云数据库场景的架构和引擎设计。本文也将详细展开，介绍目前SequoiaDB的架构与设计理念。SequoiaDB巨杉数据库一直坚持技术驱动产品，专注打造金融级分布式数据库，成为中国首次入选Gartner数据库报告的数据库厂商。目前，巨杉数据库付费企业级客户与社区用户总数超过1000家，并已在超过50家

01 前言在上一篇文章中，我们分享了利用巨杉数据库SequoiaDB，实现系统同城双中心容灾的最佳实践。巨杉数据库提供了存算分离、多副本、强一致的特性，解决了如双中心双活流量分发、透明故障切换等问题，构建了同城跨区域数据保护的能力。但是，同城双中心架构的局限性也是显而易见的，因为它无法防范城市级的不可抗力故障，如地震、火山、海啸等自然灾害等。从监管的角度考虑，随着业务等级的提升，对容灾部署模式提出了更高了要求，这就出现了两地三中心的部署模式。在本文中，我们将和大家一起来了解，如何利用金融..

01 前言在上一篇《最佳实践2 | SequoiaDB同城双中心部署规划》中，我们介绍了巨杉数据库的同城双中心灾备架构以及应对方案，本篇将继续分享如何利用巨杉数据库的灾难split/merge 恢复工具进行容灾处理。“split” 工具的基本工作原理是使某些副本从原有集群中分裂出来，成为一个新的集群，单独提供读写服务；其余副本成为一个新的集群，仅提供读服务。“merge” 工具的基本工作原理是将分裂出去的副本重新合并到原有的集群中，恢复到集群最初的状态。SequoiaDB默认安装在/o...

01 前言近年来，随着互联网技术的发展，数据早已成为各行业的生命源泉，数据管理的重要性不言而喻。日前，在「巨杉最具价值专家」技术交流会中，北京傲飞商智软件有限公司CEO初建军老师（ [email protected]）对Apache Hop基于web的可视化流式批处理平台主题进行了详细的讲解。02什么是ApacheHopApache Hop是Hop Orchestration Platform的缩写。它完全用Java编写，旨在提供广泛的数据编排工具，包括可视化开发环境，服务器，元数据..

前言随着业务系统非结构化数据年增长量较大并且数据越来越多。在业务系统投产后，由于业务量的增加使得集群可使用存储容量逐渐变小，因此在业务系统接入集群前需考虑存储容量耗尽后整个集群的水平扩展。SequoiaDB是分布式架构的多模数据库，因此可以通过集群的扩容实现集群性能的近线性增长。通过扩容后主要解决两个问题是数据存储的容量问题和整个集群的性能问题。因为数据量的不断增长及上线后的推广使用，所以需要进行扩容来提升集群性能及增加数据存储空间。典型应用场景1.旧数据量大，不希望移动数据；业务系统库

01 概述近年来，随着网上银行、手机银行等各种互联网业务的迅猛发展，各行业数据中心的业务压力成倍增加，客户对于业务访问质量的要求也越来越高，保障业务系统7*24小时连续运营并提升客户体验成为信息部门的首要职责。为适应互联网业务的快速增长，保障各业务安全稳定的不间断运行，提高市场竞争力，同时符合监管机构的要求，「同城双中心」、「两地三中心」正在成为银行的共同选择。基于分布式数据库原理架构，底层数据通过三副本保证其可靠性，因此大多数分布式数据库都会推荐使用「两地三中心」的部署模式。然而并非每个客户都

不同的适用场景下应该选择不同的扩容方式，本文主要介绍了四种主要的扩容实践与代码样例。方案一环境准备建立数据域db.createDomain("domainbefore",["datagroup1","datagroup2","datagroup3"], {AutoSplit:true});建立集合空间db.createCS("pri5_image",{Domain:"domainbefore"});建立主表集合db.pri5_image.createCL("atnnotate

本文来自巨杉数据库社区用户，特此感谢社区用户的贡献Grafana+InfluxDB+Telegraf+SequoiaDBGrafana作为一款强大的开源的监控软件，可以进行灵活的报表定制与性能监控。用户可以通过时序数据库InfluxDB作为数据源为Grafana提供性能监控数据，同时使用Telegraf作为性能数据采集工具从SequoiaDB中定时采集性能指标，已达到准实时性能监控的目的。整个框架的搭建非常简单，需要编写代码的仅4行，基本上可以通过合理的配置完成环境的搭建。本文使用1台阿里云

随着大数据时代的到来，数据已经渗透到各行各业，成为重要的生产要素，数据管理成为当今计算机最重要的应用领域。出于对数据管理领域的关注，不同行业也逐步提升了对数据存储、数据管理及数据分析能力的要求，这一趋势带来了新理念。为此，「巨杉最具价值专家SVP」技术交流会特别邀请巨杉北美实验室核心成员Danny Chen ，讲解数据湖的技术原理与巨杉数据库在数据湖中的应用实践。01关于数据湖从架构演进来说，数据湖可以理解为一个storage即存储区域，存放内容多为原始数据，也叫做裸数据。裸数据是数据原始生..

一、概述在数据作为生产资料的今天，数据早已成为各行各业的生命源泉，数据安全的重要性不言而喻。数据备份是数据安全的基础,完整的备份和有效的恢复手段是应对一切突发状况的重要保障。同时数据备份也对数据的重新利用，发挥数据更大价值，有着重大的作用。而数据备份的重点是对数据库的备份。定期对数据库进行数据备份，以便能在未来发生系统故障、人为误操作等情况时，进行数据恢复，防范于未然。巨杉数据库作为新一代分布式交易型数据库，采用“计算与存储分离”的架构；和同时期发展分布式数据库的灯塔厂商AWS在架构..

随着企业应用的类型不断拓展，在海量数据、高并发、多类型数据的应用场景下，底层数据平台对于混合数据类型、混合业务场景处理能力的要求不断扩大，这就催生了 HTAP（混合事务和分析处理）的需求。新一代分布式数据库，对于HTAP类型的处理有着无可比拟的优势。而本文将从实战出发，带大家了解HTAP场景下分布式数据库使用的几个技术要点，帮助大家使用分布式数据库六招轻松“搞定”HTAP场景。传统数据库架构面临的痛点1.集群分散不利于整合，数据结构同步工作量大目前传统数据库架构各个业务之间数据...

使用背景公司近期上线了一个新应用，底层数据库采用了国产的分布式数据库 – SequoiaDB。因为需要将 SequoiaDB 集群纳入到公司的整个监控体系中，所以需要对 SequoiaDB 的状态、性能指标等信息收集起来，然后提供监控系统使用。SequoiaDB 数据库本身提供了一个图形化的监控界面 – SAC，但是里面的监控项，和我们公司过去常用的指标有很大出入。所以在咨询了 SequoiaDB 的相关人员后，决定自己开发一套监控程序。SequoiaDB 存储引擎的监控...

分布式架构+多模正在成为新一代数据库技术的主流技术架构，其中处理非结构化数据的能力成为新一代数据库的关键功能点。本文也将从一个实际企业案例出发，介绍分布式数据库在影像数据管理场景下的最佳实践。1. 内容数据管理需求在银行业竞争越来越激烈的背景下，部分银行由于非结构数据部分或全部存在于各自系统中，或尚未形成完整统一的存储管理模式，信息共享不及时导致信息孤岛效应明显，影响银行在部分业务上的决策。并且现有的非结构化内容管理平台已经不能满足在产品创新、服务创新和流程创新上的新需求，并且部分银行已经提出.

01背景由于业务形式的发展，越来越多的需求需要对交易数据进行实时分析，例如推荐、决策、监控等，传统的处理办法是使用ETL的方式把OLTP业务产生的数据同步到OLAP的数据数据库，导致了数据需要在不同的数据库之间流转，耗费时间成本的同时需要耗费人力成本运维多套数据库产品。近年来业界开始兴起HTAP的概念，对于数据库，HTAP代表一个数据库既能支持OLTP(在线事务处理)，又能...

课程背景和规划介绍巨杉大学的学习和认证包括SCDA（巨杉数据库认证技术专员），SCDP（巨杉数据库中级工程师认证），SCDE（巨杉数据库高级工程师认证)，SCDD（巨杉数据库认证开发者）等计划，未来还将持续推出针对行业用户、数据库运维、开发者和开源社区爱好者更多学习计划，共同拓展行业广度和技术深度。巨杉大学的 SCDP（巨杉数据库中级工程师认证）计划，直接上手操作使用，直观体...

1前言在应用程序中，应用配置连接的数据库IP地址和端口号都是固定一个的，当所属IP地址的服务器宕机后，需要人为手工更改IP地址切换数据库服务器。同时当应用接收到成千上万的并发 http 请求时，会导致服务器消耗大量系统资源，轻则响应速度降低，严重的甚至会引发宕机。为了充分合理的利用服务器资源，提高数据服务的性能和稳定性，在较低成本的前提下，保证在部分服务器宕机或发生故障的情...

01概述数据库是一个多用户使用的共享资源。当多个用户并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性。加锁是实现数据库并发控制的一个非常重要的技术。当事务在对某个数据对象进行操作前，先向系统发出请求，对其加锁。加锁后事务就对该数据对象有了一定的控制，在该事务释放锁之前，其他的事务不能对此数据对象...

当今时代，企业数据越发膨胀。数据是企业的价值，但数据处理也是一种技术挑战。在海量数据处理的场景，即使单机计算能力再强，也无法满足日益增长的数据处理需求。所以，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类典型产品，分别是分布式存储和分布式计算。用户只有将两者的特性充分利用，才可以真正发挥分布式架构的存储和计算能力。本文介绍 SequoiaDB（分布式存储）和 Spark（分布式计...

01 背景在线交易服务平台目的是减轻核心系统计算压力和核心性能负荷压力，通过该平台可以将核心系统的交易数据实时捕获、实时计算加工、计算结果保存于SequoiaDB中。并能实时的为用户提供在线交易查询服务。在线交易服务平台基于实时处理架构设计，通过将核心系统的数据变更，实时的同步到在平台数据库，从而达到数据实时复制，及向外提供服务的目的。本文旨在分析实时处理系统的各技术原理及整体...

1.问题背景对于分布式数据库和分布式环境，高并发和高性能压力的情况下，出现线程创建失败等等问题也是十分常见的，这时候就十分考虑数据库管理员的经验，需要能快速的定位到问题和瓶颈所在，快速解决。本文也是作为一个最佳实践，告诉大家如何在高并发情况下定位问题，排除问题，解决瓶颈。2.问题定位SequoiaDB在集群环境中的 -10 错误码，在认真查阅节点的 diaglog 日志后，发现是操作系...

1.前言随着业务系统非结构化数据年增长量较大并且数据越来越多。在业务系统投产后，由于业务量的增加使得集群可使用存储容量逐渐变小，因此在业务系统接入集群前需考虑存储容量耗尽后整个集群的水平扩展。SequoiaDB是分布式架构的文档型数据库，因此可以通过集群的扩容实现集群性能的近线性增长。通过扩容后主要解决两个问题是数据存储的容量问题和整个集群的性能问题。因为数据量的不断增长及上线后的推广使用，...

背景在传统银行 IT 架构中，联机交易与统计分析系统往往采用不同的技术与物理设备，通过定期执行的 ETL 将联机交易数据向分析系统中迁移。而作为数据服务资源池，同一份数据可能被不同类型的微服务共享访问。当一些联机交易与审计类业务针对同一份数据同时运行时，必须保证请求在完全隔离的物理环境中执行，做到交易分析业务无干扰。HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，...

SequoiaDB 巨杉数据库是一款金融级分布式关系型数据库，坚持从零开始打造分布式开源数据库引擎。“内核笔记系列”旨在分享交流 SequoiaDB 巨杉数据库引擎的设计思路和代码解析，帮助社区用户深入理解 SequoiaDB 的实现原理，共建开源开放的数据库技术生态。01 基本概念会话与连接是两个容易混淆的概念。会话(Session) 指是通信双方从开始通信到通信结束期间的一个上下文(C...

编者注：中国的数据库行业也迎来了一波新的热点事件。分布式数据库这块新消息不断，也让大家开始关注中国的分布式数据库。首先是短短一周内，Pingcap和SequoiaDB巨杉数据库陆续宣布了C轮的数千万美元融资，融资的消息在数据库和IT圈成功“刷屏”。此后，在杭州的云栖大会上，蚂蚁金服的Oceanbase也发布了 2.0。对于这些新消息，也侧面反映了国产的开源分布式数据库发展的迅速。那么这些国产分...

1. 背景以Docker和Rocket为代表的容器技术现在正变得越来越流行，它改变着公司和用户创建、发布、运行分布式应用的方式，在未来5年将给云计算行业带来它应有的价值。它的诱人之处在于：1）资源独立、隔离资源隔离是云计算平台的最基本需求。Docker通过Linux namespace, cgroup限制了硬件资源与软件运行环境，与宿主机上的其他应用实现了隔离，做到了互不影响。不同应用...

巨杉数据库目前已经在超过50家大型商业银行的核心业务上线使用，本文为银行金融科技转型应用系列文章第一篇，此后巨杉还将陆续推出银行业应用和科技创新文章，数据库快速入门教程，事务控制教程等，大家敬请期待。

1前言在当前企业生产数据膨胀的时代，数据即使企业的价值所在，也是一家企业的技术挑战所在。所以在海量数据处理场景上，人们意识到单机计算能力再强也无法满足日益增长的数据处理需求，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类产品是至关重要的，分别分布式存储和分布式计算，用户只有将两者的特性充分利用，才可以真正发挥分布式架构的存储和计算能力。本文主要向读者们介绍SequoiaDB（分布式...

SequoiaDB扩容的方法有很多，本文主要介绍了几种扩容实践及代码样例。第一种方案环境准备建立数据域db.createDomain("domainbefore",["datagroup1","datagroup2","datagroup3"], {AutoSplit:true});建立集合空间db.createCS("pri5_image",{Domain:"domainbefore"}

SequoiaDB简介SequoiaDB是一款分布式文档型数据库，是国内为数不多拥有自主知识产权的开源数据库。目前SequoiaDB已经在GitHub上开源。SequoiaDB主要的功能特点是支持分布式事务、2003标准SQL、同时提供文档存储引擎和块存储引擎、与大数据产品有良好的整合。SequoiaDB开发接口2.1API

巨杉数据库SequoiaDB支持海量分布式数据存储，并且支持垂直分区和水平分区，利用这些特性可以将Kafka中的消息存储到SequoiaDB中方便业务系统后续数据分析、数据应用。本文主要讲解巨杉数据库SequoiaDB如何消费Kafka中的消息以及将消息存储到SequoiaDB中。

本文为SequoiaDB社区用户贡献的文档教程，帮助大家快速入门SequoiaDB适配C#，并进行简单的开发。

1前言分布式数据库从过去成为NoSQL的数据库发展开始，底层的数据存储结构变得多样化，包括KV、文档、列式等结构。各自有自己擅长的业务应用场景，例如操作型和分析型就是最简单的区分。然而SQL的支持成为了业界的共识。SQL语言几十年的发展已经非常成熟，技术基础也非常广泛。全世界90%以上的开发，无论业务操作型还是分析型都以SQL的数据处理为主。无论底层数据存储结构是

巨杉数据库助力民生银行、广发银行前台智慧化业务今年以来，公有云事故频发，大有“黑天鹅”不断爆发之势头。近期，北京一初创公司清博数控表示，在使用国内某厂商云服务器8个月后，放在云服务器上包括备份的数据全部丢失，导致公司几年来的平台数据全部丢失，造成“近千万元损失”。此后，该云平台对此回应称，向该公司表达歉意，愿意赔偿该公司在平台产生的实际消费共计3569元，本着帮助用户迅速恢复业务的目的...

一直以来，数据库的核心研发团队都十分神秘，作为隐藏在幕后的隐士高人，他们对数据库发展以及数据库研发团队的看法是什么呢？本文我们就由巨杉数据库核心技术研发团队的“老司机”，向大家分享他分布式数据库的自研之路。Q：作为数据库行业的“老司机”，您能否先介绍一下自己？A：我叫Danny，是巨杉数据库核心研发团队的成员，是一名数据库资深工程师和架构师，有超过20年的数据库核心研发经验，曾...

数据库的高可用是指最大程度地为用户提供服务，避免服务器宕机等故障带来的服务中断。数据库的高可用性不仅仅体现在数据库能否持续提供服务，而且也体现在能否保证数据的一致性。SequoiaDB 巨杉数据库作为一款100%兼容 MySQL 的国产开源分布式数据库，它在高可用方面的表现如何？它的高可用性是如何实现的？本文将详细描述SequoiaDB巨杉数据库的高可用性原理，并进行测试验证。...

本文来自社区用户投稿，感谢这位小伙伴的技术分享巨杉数据库架构简介巨杉数据库作为分布式数据库是计算和存储分离架构，由数据库实例层和存储引擎层组成的。存储引擎层负责数据库核心功能比如数据读写存储以及分布式事务管理。数据库实例层也就是这里的的SQL层负责把应用SQL请求处理后发存储引擎层处理，并且把存储引擎层响应结果反馈给应用层。支持结构化实例比如MySQL实例/PG实例/spark实例，...