- 博客(58)
- 收藏
- 关注
RSS订阅原创 阿里云市场AtomData购买与部署指南
本文主要描述企业用户如何从阿里云市场购买、使用石原子公司的AtomData企业级实时数仓产品。1、购买1.1 找到商品通过阿里云官网的云市场类目进入云市场首页，搜索AtomData，即可发现产品，如下图。1.2 选择规格 点击云市场的商品，进入AtomData商品详情页，在商品详情页可以选择需要购买的AtomData规格、期限和所属区域。选择完成后点击购买，如果没有登录请根据阿里云的引导完成登录，点击购买成功后将进入规格配置界面。1.3 配置进入配置页，界面展示如下：根据右侧的填写引
2022-10-25 19:35:51
309
原创 阿里云市场StoneDB购买与部署指南
本文主要描述用户如何从阿里云市场购买、使用石原子公司的StoneDB(HTAP)数据库产品。1、购买1.1 找到商品通过阿里云官网的云市场类目进入云市场首页，搜索StoneDB，即可发现产品，如下图：1.2 选择规格 点击云市场的商品，进入StoneDB商品详情页，在商品详情页可以选择需要购买的StoneDB规格、期限和所属部署区域。选择完成后点击购买，如果没有登录请根据阿里云的引导或者用支付宝/淘宝APP扫一扫完成登录，点击购买成功后将进入规格配置界面。1.3 配置进入配置页，界面展示
2022-10-25 15:36:47
664
原创 如何给一个 HTAP 数据库做基准测试？StoneDB学术分享会第4期
在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上，来自清华大学的李国良和张超两位老师发表了一篇论文：《HTAP Database: What is New and What is Next》,并做了 《HTAP Database：A Tutorial 的专项报告。这几期学术分享会的文章，StoneDB 将系统地梳理一下两位老师的报告，带读者了解 HTAP 的发展现状和未来趋势。在《深度干货！一篇 Paper 带您读懂 HTAP》这期中我们对HTAP产生的背景和现有的HTAP数据库及其
2022-10-22 18:38:11
784
原创 【研发分享】StoneDB如何给Tianmu引擎增加delete功能（调研之旅）
StoneDB 作为开源项目，一直秉持开源开放的基本原则，我们的社区版代码现在已经完全在 Github 上开源，并不断提高代码的可读友好性，同时，为了让大家更好地理解我们是如何打造一款一体化 HTAP 开源数据库的，我们会定期把一些核心技术的研发实现思路分享给大家，也算是抛砖引玉，如果读者有更好的实现思路，也欢迎与我们沟通，甚至可以参与到我们社区版的开发中~Tianmu 引擎是 StoneDB 团队自研的一款列式存储引擎，在6月初刚开源时，并不支持 delete 功能，对此很多用户都提出了需求的意见，
2022-10-21 17:04:29
117
原创 StoneDB主从切换实践方案
StoneDB 的主从切换既可以手动切换，也可以自动切换，自动切换通常需要使用第三方中间件。本文介绍的是较为常用的中间件 Replication Manager，当 master 发生宕机时，可自动切换至 slave，保证业务正常运行，故障节点恢复后再加入主从。服务器配置说明IPMemoryCPUOS version192.168.30.408G8CCentOS Linux release 7.9192.168.30.418G8CCentOS Linux relea
2022-10-11 11:02:24
344
原创 StoneDB读写分离实践方案
在 StoneDB 1.0 版本中，InnoDB 引擎处理 OLTP 的事务型业务，Tianmu 引擎处理 OLAP 的分析型业务。因此，需要在主从复制环境的基础上做读写分离，所有的写操作和部分读操作走 InnoDB 引擎，所有的分析类查询走 Tianmu 引擎。读写分离方案既可以使用第三方中间件，也可以在业务前端实现。本文介绍的是较为常用的中间件 ProxySQL。服务器配置说明IPMemoryCPUOS version192.168.30.408G8CCentOS Linu
2022-10-10 17:15:18
618
原创 HTAP的关键技术有哪些？| StoneDB学术分享会第③期
在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上，来自清华大学的李国良和张超两位老师发表了一篇论文：《HTAP Database: What is New and What is Next》,并做了 《HTAP Database：A Tutorial》 的专项报告。这几期学术分享会的文章，StoneDB将系统地梳理一下两位老师的报告，带读者了解 HTAP 的发展现状和未来趋势。在第一期分享中：StoneDB：深度干货！一篇Paper带您读懂HTAP | StoneDB学术分享会第①期
2022-09-23 10:26:15
486
原创 StoneDB 亮相中国信通院OSCAR开源产业大会，石原子科技正式加入科技制造开源社区！
2022 年 9 月 16 日，由中国信息通信研究院（以下简称“信通院”）主办的“2022 OSCAR 开源产业大会"活动于北京成功举办。会上宣布，StoneDB 发起厂商杭州石原子科技有限公司正式加入信通院“科技制造开源社区（TMOSC）”，未来石原子将与信通院及各成员单位一起聚焦可信开源全景，推动行业开源治理的应用落地，促进产业协同创新，推动产业生态完善。“科技制造开源社区”成员单位证书“科技制造开源社区（TMOSC）”由中国信通院牵头发起，成立于 2021 年 9 月 17 日。科技
2022-09-20 10:06:15
168
原创 解读《Benchmarking Hybrid OLTP&OLAP Database Systems》| StoneDB学术分享会
编者按： Benchmarking 作为一个衡量标尺，可从不同的维度来客观公正公平的评价相关产品，例如：对应数据测评而言，有 TPC-C、TPC-H，TP-DS 等等。现有的这些测评 TPC-X 标准（Benchmarking）真的适合现有的 OLTP&OLAP 混合型数据库吗？现在对于很多 HTAP 数据库厂商来说，对外所发布的性能对比数据都是以 TPC-H 为基准，但是单方面或者说只看一个 TPC-H 真的能真实地反映出这些 HTAP 数据库的指标吗？这篇来自德国慕尼黑工业大学数据库研究组的
2022-09-09 15:28:23
108
原创 StoneDB for MySQL 5.7 版本发布
StoneDB_5.7_v1.0.0 的发行日志支持MySQL 5.7功能添加或改变编译相关改动配置相关改动文档变更BUG修复欢迎大家关注我们的Github：https://github.com/stoneatom/stonedb也可以前往我们的官网下载最新的编译包：https://static.stoneatom.com/custom/stonedb-ce-5.7-v1.0.0.el7.x86_64.tar.gz支持MySQL 5.7关键项:StoneDB 数据库支持MySQL
2022-09-06 09:10:16
224
原创 深度干货！一篇Paper带您读懂HTAP | StoneDB学术分享会第①期
在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上，来自清华大学的李国良和张超两位老师发表了一篇论文：《HTAP Database: What is New and What is Next》,并做了 《HTAP Database：A Tutorial》 的专项报告。 本篇文章，我们将系统地梳理一下两位老师的报告，带读者了解 HTAP 的发展现状和未来趋势。这个报告主体上分为5个章节，分别是：背景介绍。HTAP Databases：分享最新的 HTAP 数据库技术，总结它们主要的应
2022-09-05 18:38:33
305
原创 在Ubuntu系统上安装StoneDB数据库
今天我会进行StoneDB数据库在Ubuntu 22.04系统下的安装。严格按照官方文档的步骤执行，看看能否顺利安装。准备Ubuntu系统我已在虚拟机中安装好了Ubuntu 22.04版本的系统，按照常规操作，先把系统更新到最新。然后执行后面的安装步骤。在Ubuntu系统中安装StoneDB数据库下面开始进行StoneDB数据库的安装。第一步：下载并解压安装包此处我下载的是StoneDB 5.6版本。用下面的命令，下载压缩包，并解压。cd /wget https://static.ston
2022-08-31 18:12:21
171
原创 在Debian系统上安装StoneDB数据库
今天我会进行StoneDB数据库在Debian系统下的安装。官方文档中没有说明在Debian系统的安装步骤，我来试试能否顺利安装。准备Debian系统我是在本地使用虚拟机安装的Debian 11.2系统，安装过程比较顺利，安装完成后。先为Debian系统装上SSH，然后通过SSH连接虚拟机命令行进行后面的步骤。安装StoneDB之前，先为Debian系统添加国内的软件源。然后执行下面的命令更新系统，确保系统是最新的。（这个步骤就不截图说明了，网上有许多教程）sudo apt updatesudo
2022-08-30 18:17:38
333
原创 在CentOS 7系统安装StoneDB数据库
今天我会进行StoneDB数据库在CentOS 7系统下的安装。官方的快速部署文档中已有详细的安装流程，我会严格按照流程操作。准备CentOS系统我在本地虚拟机上安装好了CentOS 7系统的2207版本。安装过程比较顺利，装完系统后开启ssh服务，就可以用ssh客户端连接，先使用下面的系统更新命令yum -y update对系统进行更新，然后执行后面的安装步骤。在CentOS系统中安装StoneDB数据库下面开始进行StoneDB数据库的安装。第一步：下载并解压安装包此处我下载的是Stone
2022-08-30 15:30:48
631
原创 StoneDB社区答疑第二期
我们又把近期的一些社区热点问题做了一次汇总，同步给所有关注StoneDB的同学们~提问Qustions & 解答AnswersQ：现在StoneDB单机什么硬件规格部署能分析100TB级别的数据？A：像这么大的存储量，系统一般是分析类的，存储可以是单块盘容量是7.6TB的SSD，CPU核数和主频越高越好。Q：StoneDB什么时候支持delete功能？A：StoneDB预计在10月20号会发布StoneDB_5.7_V1.0.1版本，届时会支持delete功能，目前只是暂时不支持，主要是为
2022-08-23 09:10:41
553
原创 StoneDB社区答疑第一期
当然，目前 StoneDB 的社区建设还正处于初启阶段，我们坚信，开源项目的成长，最终还是要靠社区用户一起来共创，因此，StoneDB 开源社区非常重视社区用户的声音，在 7 月份，我们从各个渠道里收集到了用户的反馈，这里做一个汇总，同步给各位关注 StoneDB 的开发者们，无论您是在校学生还是公司后端研发人员，亦或是某数据库厂商的研发人员，相信本期的社区解答会让您对 StoneDB 有一个更深入的了解。Q：StoneDB 是基于 MySQL 做的怎么还能叫自主可控呢？你们后面能跟上 MySQL 的生态
2022-08-22 15:43:38
292
转载 在windows上用docker desktop安装StoneDB
自6月底开源以来，许多热心的社区用户都对StoneDB进行了编译和测试，也有一些用户询问StoneDB是否会支持Windows。虽然适配Windows版本的StoneDB尚未进入研发计划，但实际上我们也可以通过强大的docker在windows上体验StoneDB的性能。本文就从一个初学者角度，带大家一起在windows上用docker desktop安装部署StoneDB。1、安装Docker desktop因为是在Windows下安装docker，所以需要先安装windows版的docker环境。
2022-08-17 19:10:00
176
原创 【StoneDB Class】入门第三课：StoneDB的编译安装
本课程主要介绍 StoneDB-5.6 在 Ubuntu 20.04 LTS 下的手动编译，在 CentOS 和 RedHat 的编译详见官方文档。如果想快速部署，详见官方文档https://stonedb.io/zh/docs/getting-started/quick-deployment编译工具以及第三方库的版本要求如下。编译工具及第三方库版本要求gcc9.4.0make3.82cmake3.7.2marisa0.77rocksdb6.12.6
2022-08-17 18:00:14
317
1
转载 【StoneDB】入门第二课：StoneDB整体架构解析
StoneDB 的整体架构分为三层，分别是应用层、服务层和存储引擎层。应用层主要负责客户端的连接管理和权限验证；服务层提供了 SQL 接口、查询缓存、解析器、优化器、执行器等组件；Tianmu 引擎所在的存储引擎层是 StoneDB 的核心，数据的组织和压缩、以及基于知识网格的查询优化均是在 Tianmu 引擎实现。下面为大家详细介绍 StoneDB 整体架构中的主要特性。列式存储StoneDB 创建的表在磁盘上是以列模式进行存储的，由于关系型数据库中每一列的数据类型都相同，所以这种连续的空间存储与行.
2022-08-17 17:00:12
491
原创 【StoneDB Class】入门第一课：数据库知识科普
在没有出现数据库之前，数据存储在文本中，这种数据存储方式不管是管理还是查询，效率都是极其低下的，数据之间没有关联性。到了1970年，IBM研究员 E.F.Codd 发表了论文"A Relational Model of Data for Large Shared Data Banks"，该论文中第一次提出了关系模型的概念，为关系型数据库奠定了基础，才有了后面涌现的如IBM的DB2、甲骨文的Oracle等优秀的关系型数据库。一直到上世纪90年代，数据库都是以关系型数据库为主。但随着数据量的
2022-08-16 18:15:00
167
原创 mysqldump 在 StoneDB 中的使用注意事项
InnoDB导入StoneDB此场景是利用mysqldump从InnoDB导出，然后再导入StoneDB，在导入StoneDB前，需要对导出文件做如下修改。1）修改存储引擎CREATE TABLE `t_user` (xxx) ENGINE=InnoDB;CREATE TABLE `t_user` (xxx) ENGINE=stonedb;2）去掉锁表语句导出文件会输出"LOCK TABLES...WRITE"，这是因为导出时默认使用了参数"--add-lo
2022-08-16 16:22:14
92
原创 【StoneDB研发日志】列式存储 delete方案调研
MySQL删除数据的方式以MySQL 5.7为例，数据库删除数据的方式一共有以下三种：deletetruncatedrop以上三种方式都可以删除数据，但是使用场景是不同的。对于整个表进行删除的执行速度来说：drop > truncate >> deleteMySQL删除数据的方式-deletedelete是属于数据库的DML操作语言，一般是根据条件逐行进行删除。使用delete删除数据时，数据库只能删除数据不能删除表的结构，并且会触发数据库的事务机制。delete
2022-08-16 15:29:49
347
原创 【StoneDB】从库如何规避不支持的DML和DDL
（以下情况仅针对StoneDB 1.0版本不支持的部分DML和DDL操作，StoneDB 2.0及以上版本将无需此类操作）主从复制中，主库的任何更新都会同步到从库，如果从库不想重做主库的某个更新动作，可以使用以下两种方法进行规避。当然，最终带来的影响是主从环境数据不一致的问题。以下的测试环境中，主库是 InnoDB，从库是 StoneDB，在主库做从库不支持的 DML 或者 DDL。从库执行 GTID 的空事务###主库mysql> show create table ttt\G
2022-08-16 15:16:23
107
原创 【StoneDB研发日志】union功能bug记录
1、问题现象create database syw_mtr;use syw_mtr;CREATE TABLE t1 (f1 VARCHAR(255) CHARACTER SET utf8)engine=tianmu;CREATE TABLE t2 AS SELECT LEFT(f1,171) AS f2 FROM t1 UNION SELECT LEFT(f1,171) AS f2 FROM t1;ERROR 2013 (HY000): Lost connection to MySQL serve
2022-08-16 14:09:33
82
原创 【StoneDB技术解析】验证相关数据包是否需要解压缩
在StoneDB中，数据包分为以下几类：不相关的数据包：不满足查询条件的数据包。相关的数据包：满足查询条件的数据包。可疑的数据包：数据包中的数据部分满足查询条件，需要进一步解压缩数据包才能得到满足条件的数据行。通过对数据包的划分，知识网格技术过滤掉不相关的数据包，读取相关的数据包和可疑的数据包。其中相关的数据包不需要解压缩，只读取元数据，不会发生IO，可疑的数据包需要解压缩，会发生IO。1）创建表t_userCREATE TABLE t_user( id INT NOT NULL AUT
2022-08-16 10:52:01
70
原创 StoneDB 读、写操作的执行过程
背景介绍StoneDB 是一款兼容 MySQL 的开源 HTAP 数据库。StoneDB 的整体架构分为三层，分别是应用层、服务层和存储引擎层。应用层主要负责客户端的连接管理和权限验证；服务层提供了 SQL 接口、查询缓存、解析器、优化器、执行器等组件；Tianmu 引擎所在的存储引擎层是 StoneDB 的核心，数据的组织和压缩、以及基于知识网格的查询优化均是在 Tianmu 引擎实现。本文主要为大家介绍 StoneDB 的读操作、写操作执行过程，方便大家了解引擎架构、内部逻辑和各个功能模块。一、T
2022-08-15 09:55:30
116
原创 StoneDB（石原子科技）受邀参与《开源数据库服务商服务能力分级要求》标准第一次讨论会
2022年8月9日下午，StoneDB数据库主体研发单位石原子科技与华为、openGauss开源社区、云和恩墨、甲骨文等组织受邀参与《开源数据库服务商服务能力分级要求》标准第一次讨论会。重点讨论：标准的能力域与能力项的分类。后续，项目组将会继续完善能力分级要求，推进开源数据库标准的编制工作。至今，石原子科技已参与起草多个国家级和行业级标准的编写工作。1、该讨论会由中国通信标准化协会大数据技术标准推进委员会数据库与存储工作组（CCSA TC601 WG4）联合中国信通院数据库应用创新实验室（CAICT
2022-08-12 18:18:26
54
原创 StoneDB完成华为鲲鹏国产处理器适配认证！
近日，一体化实时 HTAP 数据库 StoneDB 与华为鲲鹏 920 已完成并通过相互兼容性测试认证，取得 KUNPENG COMPATIBLE 证书及认证徽标的使用权。该认证意味着StoneDB在兼容性、稳定性、性能、安全、功耗、功能等六大维度的测试均符合鲲鹏技术标准，可以适配华为鲲鹏 920 处理器。StoneDB 是由石原子科技公司自主设计、研发的国内首款基于 MySQL 内核打造的开源 HTAP（Hybrid Transactional and Analytical Processing）..
2022-08-11 20:51:27
542
原创 StoneDB：安装部署FAQ
不同的操作系统安装StoneDB，需要的依赖包是不一样的，将安装包解压出来后，可用如下方法检查需要的依赖包。如果开发、测试环境是部署在虚拟机上的，AVX指令集必须开启，否则StoneDB无法安装。检查结果中，"not found"表示缺少文件，需要安装对应的依赖包。# 安装部署StoneDB需要哪些依赖文件？若无返回结果，说明AVX指令集没有开启。# 如何在KVM上运行StoneDB？...
2022-08-09 09:24:03
324
转载 【StoneDB子查询优化】subquery子查询-优化exists场景的join查询优化器的处理-100GB数据量测试
摘要:说明如何优化exists的join查询优化器的处理核心函数:TwoDimensionalJoiner::ChooseJoinAlgorithmJoinAlgType TwoDimensionalJoiner::ChooseJoinAlgorithm([[maybe_unused]] MultiIndex &mind, Condition &cond) { JoinAlgType join_alg = JoinAlgType::JTYPE_GENERAL; if (co
2022-08-05 19:28:16
70
转载 【StoneDB子查询优化】subquery子查询-exists子查询的剔除遍历处理
摘要:记录对exists子句进行剔除遍历的处理, 对比优化前后子查询耗时执行的SQL语句:/stonedb57/install/bin/mysql -D tpch -e " explain selecto_orderpriority,count(*) as order_countfromorderswhereo_orderdate >= date '1993-07-01'and o_orderdate < date '1993-07-01&#
2022-08-05 19:26:34
83
转载 【StoneDB子查询优化】subquery子查询-内存拷贝分析及优化
摘要:子查询耗时40分钟，通过火焰图分析发现memcpy占用了大量时间，分析其原因子查询调用分析:火焰图:https://gitee.com/adofsuaron/stonedb-dev/blob/stonedb-5.6/tests/perf/vm-30.208/subquery-slow-20220711Jul071657525409.mysql.svg函数调用计数统计:OP类型都是EXISTS[2022-07-15 12:44:24.190555] [30257] [INFO] [des
2022-08-05 19:22:43
78
原创 【StoneDB模块介绍】服务器模块
一、介绍客户端程序和服务器程序本质上都是计算机上的一个进程，客户端进程向服务器进程发送请求的过程本质上是一种进程间通信的过程，StoneDB数据库服务程序作为服务器程序，客户端只要遵循规定的通信协议，都可以进行连接，包括但不限于odbc、jdbc、.net等。那么，客户端连接到StoneDB数据库服务程序后，向服务器发送了请求，服务器是如何处理，才能产生最后的结果。客户端可以向服务器发送增删改查等各类请求，本文以比较复杂的查询请求为例，来展示下服务器模块处理的大致过程，如下图：二、连接器客户端可以
2022-08-05 18:54:37
193
原创 【StoneDB join 算法分析】查询模块
1. 背景介绍StoneDB 采用基于知识网格技术和列式存储引擎。该存储引擎为海量数据背景下 OLAP 应用而设计，通过列式存储数据、知识网格过滤、高效数据压缩等特性，为应用系统提供低成本和高性能的数据查询支持。本文旨在分析 StoneDB 引擎的查询模块，包括：查询模块结构图、查询流程、知识网格、知识网格优化、优化算法。2. StoneDB架构图3. 查询模块结构图SQL模块（Query Layer）1.SQL Parser解析器的主要作用是解析SQL语句，最终生成语法树。解析器会对SQ
2022-08-05 18:49:56
130
原创 【StoneDB模块介绍】工具类
StoneDB引擎基础组件本章主要介绍 StoneDB引擎的基础核心组件，这些组件可以说是StoneDB的基石，所具有的核心组件如下图所示：1. 内存管理StoneDB引擎内存管理模块整体架构图如下：内存管理模块为StoneDB 引擎提供了高效且安全的动态内存操作，具体特点如下：（1） 支持基于tcmolloc机制封装对内存的创建和释放的类与操作。（2） 基于LRU-K和2Q缓存算法定制了不同的内存释放策略，提升内存分配效率。（3） 定制了内存守卫对各类型的内存进行监管，提升系统的健壮
2022-08-05 18:32:44
347
原创 什么是真正的HTAP？（二）挑战篇
上一篇文章中，我们从技术和商业角度分析了 HTAP 系统缘起的背景，本篇文章中，我们将从 HTAP 定义及其相关核心技术等方面来讨论：构建一个 HTAP 所面临的核心问题和挑战有哪些？HTAP 涉及技术和对产品的影响HTAP 是将 TP 和 AP 进行高度融合的产物， 而非简单的 TP 和 AP 相加：TP+AP ≠ HTAP。有的数据库让 TP 系统通过简单的数据同步方式（比如 Binlog等），将数据同步到 AP 系统，然后再由 AP 系统进行处理数据，虽然该种方式从用户的角度来看似乎是获得了同时
2022-08-05 15:12:53
187
原创 什么是真正的HTAP？（一）背景篇
To digitally transform the business, AI must be real-time. For AI to be real-time, we need real-time analytics.[1]Hybrid transaction/analytical processing (HTAP) is an emerging application architecture that "breaks the wall" between transaction.
2022-08-05 15:00:22
189
原创 StoneDB 为何敢称业界唯一开源的 MySQL 原生 HTAP 数据库
时代在召唤： HTAP Is On The Way近些年，HTAP 正在受到人们越来越多的关注，Gartner 在 2014 年提出了 HTAP 这个术语和它的定义：Hybrid transaction/analytical processing (HTAP) is an emerging application architecture that ”breaks the wall“ between transaction processing and analytics. It enables mo
2022-08-05 14:36:03
140
原创 StoneDB 2022年版本发布里程碑
StoneDB已于2022年6月29日正式开源，以下是2022年内，StoneDB主要版本发布计划：2022年6月29日版本发布：StoneDB_5.6_v1.0.0核心特性：一体化行列混存+内存计算架构采用在一个系统（或实例）同时支持TP型负载和AP型负载。在保持MySQL原有TP能力的同时，引入内存计算能力，提供全内存型列存引擎用以提供AP能力。TP和AP负载基于查询代价智能卸载到相应的引擎上进行处理。基于代价的智能HTAP查询引擎基于统计信息的查询代价优化器，将相应的查询负载路由到查询代
2022-08-05 14:22:51
238
原创 【StoneDB性能相关工具】网络监控
netstat命令能报告网络栈和接口统计信息，返回结果示例如下：# netstat -iKernel Interface tableIface MTU RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flgdocker0 1500 70712 0 0 0 131086 0 0 0 BMRUeno1 1500 124457829
2022-08-03 17:08:16
43
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人