SequoiaDB v5.2 学习笔记

已于 2022-10-27 12:18:18 修改
阅读量659 收藏
点赞数
文章标签： 1024程序员节 sequoiadb 数据库
于 2022-10-24 22:13:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41721199/article/details/127495494
版权

SequoiaDB v5.2 学习笔记

文章目录

湖仓一体

什么是“湖仓一体”？

“湖仓一体”的“湖”指数据湖，“仓”指数据仓库，是一种新型的开放式架构，将数据湖与数据仓库两者打通，并融合了数据湖的灵活性和数据仓库的高性能及管理能力。区别于数据仓库，湖仓一体底层具有同数据湖一样支持多种类型(结构化、半结构化和非结构化)的数据，并实现了湖仓的数据间共享；上层可以通过统一封装的接口进行访问，特别地以数据库为基础开发的湖仓一体还支持标准SQL对数据进行访问；可同时支持实时查询和分析，为企业进行数据治理带来了更多的便利性。

为什么要引入湖仓一体？

市场需求

在如今的数字化的时代，数据呈现量大、多样的特点，数据库不仅需要具备面向结构化数据的OLTP数据交易的能力，还需要具备面向多样化数据的实时分析能力。数据湖虽具备存储多样化数据的能力，但对于事务一致化以及实时处理能力有所欠缺；数据仓库则只具备结构化数据的分析处理能力，且无法应对高并发和支持业务敏捷变化的需求。

“数据沼泽”问题亟需解决

“数据沼泽”指的是数据量的剧增，使得数据湖存储了过多数据，导致难以高效地提炼这些海量数据的价值，只有进行数据加工并装载到大数据平台才能解决大规模业务运维、数据治理等问题；而湖仓一体架构则能在根本上避免这一问题的发生。

数字化转型需求

数字化转型的核心要义是挖掘数据的价值，以往众多企业采取建立数据仓库来进行几页数据管理，但由于利用数据仓库来应用数据前需要由数据专家对数据进行挖掘、清洗、建模、分析等复杂工作，且大多数企业缺乏这种能力，导致只能进行一些简单的类似报表等应用；无法释放海量复杂的数据中所蕴涵的价值。

SequoiaDB 如何实现湖仓一体？

现有的三种湖仓一体架构

  1. 基于Hadoop体系的数据湖向湖仓仓库能力扩展（如 Netflix，Uber）

  2. 基于云平台进行架构构建（AWS，阿里云，华为云）

  3. 以数据库技术为基础，自研平台（snowflake，databricks，SequoiaDB）

SequoiaDB

面向客户对湖仓一体架构的不同场景需求，基于 SequoiaDB 湖仓一体分布
式数据库技术为客户实现：

  1. 实时数据湖： 服务于业务数据实时对客查询；基于巨杉数据库自研的SequoiaDB 原生分布式内核，支持多模数据处理， 提供>10000并发连接写的万亿数据实时SQL查询。

  2. 多模数据湖： 服务于对象数据实时对客存取，基于 SequoiaDB 原生分布式数据库，提供非结构化数据处理API、标签管理及检索、异构存储多级缓存等能力，可实现非结构化数据与结构化数据的统一管理。

  3. 实时数仓： 对实时流入的数据进行实时探索（分析、统计、加工）

在这里插入图片描述

SequoiaDB v5.2 四大特性

Join优化 + 微分区列存

Join 优化：
  1. BKA Join 优化
  2. INDEX MERGE 优化
多微分区

多维分区主要是解决之前版本分区存储在数据量快速增长的场景下性能会逐渐下降的问题，主要用于处理既要减少数据访问量，又要提高数据并行计算能力的场景。

SequoiaDB中的分区类型

  1. 数据库分区：用于描述数据在集合与复制组之间的关系
  2. 表分区：用于描述数据在集合与集合之间的关系

多维分区（结合表分区与数据库分区）示意图：
在这里插入图片描述

实例： 账单数据具有很强的时间特性，比如查询某年的账单。针对这一特性可以将时间作为分区键，先对主集合进行表分区，将一年的数据映射到一个子集合上。针对子集合（一年内的数据），以帐号id再进行一次数据库分区，将数据映射到多个数据组上。
在这里插入图片描述

列存

SequoiaDB v5.2之前的版本通过对接SparkStreaming技术实现数据准实时以及批量入湖，SequoiaDB v5.2进一步对接FlinkSQL，实现了流批一体数据入湖，同时对接列存引擎，并会在后续版本提供行列转换，引入列存使得实时分析能力有了显著的提升。

分片并发

在这里插入图片描述

分片并发存储

  1. 数据引擎层

    对象数据写入时，对象数据始终在高速通道中共享并进行压缩，提升数据流通效率

  2. 存储引擎层

    对象数据存入存储引擎层的步骤：

    • 根据分区元数据缓存(无需IO)进行HASH分片，并打包各个分片并发存储到各个存储节点
    • 各分片到达存储节点会再次采用HASH算法实现一跳寻址以及连续空间分配，有效增加IO性能；
可变分区大小

根据对象大小在4KB~4MB之间进行自适应调整分片大小，平衡好并发性能和存储空间利用率，且存储后不再会在后台进行分片合并；

全量数据生命周期管理

根据数据时效，访问要求对数据进行全链路的生命周期管理

在这里插入图片描述

  • 热数据：存储再高配置SSD
  • 温数据：存储再低配置HDD
  • 冷数据：支持同步至第三方数据库以对象数据的方式异构存储

SAC链路监控

  • 监控
    • 性能监控
    • 集群监控
    • 查询监控
    • 死锁检测
    • 会话监控
    • 事务监控
  • 系统管理
  • 数据管理
  • 集群管理
  • 安全管理
JRBen72
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【最佳实践】SequoiaDB对接开源监控工具
巨杉数据库技术社区
12-10 3551
本文来自巨杉数据库社区用户，特此感谢社区用户的贡献 Grafana+InfluxDB+Telegraf+SequoiaDB Grafana作为一款强大的开源的监控软件，可以进行灵活的报表定制与性能监控。用户可以通过时序数据库InfluxDB作为数据源为Grafana提供性能监控数据，同时使用Telegraf作为性能数据采集工具从SequoiaDB中定时采集性能指标，已达到准实时性能监控的目的。 整个框架的搭建非常简单，需要编写代码的仅4行，基本上可以通过合理的配置完成环境的搭建。 本文使用1台阿里云
蓝牙core_v5.2协议-1 简介
szj_ble的博客
08-25 4435
最近有空重新看一遍蓝牙core核心规约，上了下官网发现目前最新的是5.2版本的。废话不多说，先从第一章节开始。 Vol 0：PART B BLUETOOTH COMPLIANCE REQUIREMENTS vol0章节主要是core协议的目录和基本介绍，这个章节可以对整个协议有个直观的认识。同时这个章节也指明了蓝牙规约的发展历史。 整个蓝牙规约根据蓝牙的发展历史，有上面多个进程。BR/EDR我们习惯称作经典蓝牙，HS为高速率蓝牙，LE即为低功耗蓝牙（BLE）。其中HCI为hos...
【SequoiaDB 学习笔记】巨杉分布式数据库初接触
weixin_45943953的博客
10-13 1076
SequoiaDB 巨杉数据库是一款国产自研的金融级分布式数据库。本文结合本人于学校公开课所学，简要总结了 SequoiaDB v5.2 发布会中有关巨杉发展过程、发展目标、新特性等内容。
相聚「1024」：湖仓一体，释放全量数据价值
CSDN资讯
10-31 3430
10月23-25日，由湖南湘江新区管委会主办，长沙工业与信息化局与 CSDN 联合承办的第三届“2022 长沙·中国 1024 程序员节”盛大开启。本届 1024 程序员节以“算力新时代，开源创未来”为主题，作为企业级基础软件厂商，同时也是金融级分布式数据库市场的领导者，巨杉数据库受邀在数据库技术及应用实践论坛中做主题分享。
SequoiaDB分布式数据库2022.9月刊
巨杉数据库技术社区
10-08 728
SequoiaDB湖仓一体分布式数据库2022.9月刊
蓝牙core_v5.2协议-2 协议框架
szj_ble的博客
09-07 3074
上一篇文章简单介绍了协议Vol 0的部分内容，本章继续Vol 1的相关内容。 本章节是描述蓝牙协议架构相关的文章，目前蓝牙不得不说的2种形式： Basic Rate(BR) ：经典蓝牙，可以继续细分为Enhanced Data Rate (EDR)， Alternate Media Access Control (MAC) and Physical (PHY) layer extensions。即BR/EDR, BR/AMP,可以从速度角度进行理解：BR模式的速率为721.2 kb/s，而EDR的速率为
openTCS 5.2 学习记录一（避坑）
lilenglya的博客
11-18 2914
什么是openTCS，它的用途是什么？
python学习笔记5.2-包和模块的导入
热门推荐
锦小年的博客
12-10 4万+
在理解什么是包以及什么是模块之后，就要学会如何去导入包或者模块了，本文主要介绍如何导入包以及在导入包的过程中需要注意一些什么。导入包的核心是使用关键词import以及搭配其他的一些关键词（from,as)等。因而根据不用的需要会有以下几种导入形式。
Deeplearning深度学习笔记v5.2.pdf
02-28
本文档是针对吴恩达老师深度学习课程(deeplearning.ai)，由黄博士整理。
SIMOTION SCOUT V5.2 SP1安装包_链接地址.txt
05-24
SIMOTION SCOUT V5.2 SP1安装包
DeepLearning.ai深度学习笔记v5.2
03-25
本文档是针对吴恩达老师深度学习课程(deeplearning.ai)，视频做的笔记，非常感谢黄海广的无私分享
蓝牙核心协议v5.2pdf
03-02
蓝牙核心协议v5.2pdf
STEP7v5.2编程手册
04-02
介绍了关于STEP7v5.2编程手册的详细说明，提供其它知识的技术资料的下载。
SequoiaDB分布式数据库2023.4月刊
巨杉数据库技术社区
05-10 632
SequoiaDB分布式数据库2023.4月刊
如何在 MySQL 中创建和使用事务?
最新发布
lgbingyu00的博客
06-21 961
事务对于MySQL在业务生产系统中的作用非常重要，以上示例主要显示的数据的隔离性。当多条数据同时执行的时候，事务会保证业务执行同时成功或同时失败，这样使用有关联性的业务可以保持业务的一致性。
MySQL数据库笔记（二）
2301_78671299的博客
06-18 1119
操作数据对象。接受参数返回一个结果。只对一行进行变换。每行返回一个结果。可以嵌套。参数可以是一列或一个值。聚合函数作用于一组数据，并对一组数据返回一个值。子查询指一个查询语句嵌套在另一个查询语句内部的查询。多表查询，也称为关联查询，指两个或更多个表一起完成查询操作。前提条件：这些一起查询的表之间是有关系的（一对一、一对多），它们之间一定是有关联字段，这个关联字段可能建立外键，也可能没有建立外键。比如：员工表和部门表，这两个表依靠“部门编号”进行关联。
PostgreSQL源码分析——INSERT
让我思考一下
06-18 419
这里我们对INSERT语句进行分析， 只分析其宏观过程，具体细节后续再分析。我们就分析下面的语句的执行过程。
PostgreSQL源码分析——CREATE DATABASE
让我思考一下
06-18 729
这里我们分析一下在PostgreSQL中创建数据库的源码，在分析源码之前，最好先阅读《PostgreSQL指南内幕探索》的第一章，数据库集簇、数据库和数据表，弄清其空间布局，理解PG中，数据库、表、元组是怎么布局的。通俗一点说，创建一个数据库相当于创建一个数据目录，在这个目录下，存放该数据库中定义的表、索引等对象。
机器学个人笔记完整版v5.2
11-11
机器学个人笔记完整版v5.2是我根据自己学习和思考机器学习领域的知识整理而成的一份笔记。这份笔记包含了机器学习的基本概念、常用算法和应用场景等内容。 在这份笔记中，我首先介绍了机器学习的基本概念，包括监督...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值