HotDB
oulazs
这个作者很懒,什么都没留下…
展开
-
【HotDB 技术干货】MySQL Client访问MySQL Server的过程剖析
前言好奇心绝对是技术咖们最显著的标签,但好奇只是开始,满足好奇才是他们的个性~ ~,下面小编就邀请大家一起跟着HotDB高级研发工程师霍伟元感受只属于MySQL世界的神秘“景象”。开源数据库MySQL是世界上最流行、使用最广泛的数据库软件产品。个人也是随着使用MySQL数据库的时间越长,就不由自主地思考:它到底是怎么运行的,开始时总是觉得好神奇而又不踏实,翻遍了MySQL数据库的原理书籍后总算踏实了,但觉得隔靴搔痒,犹如清晨的深山美景被晨雾遮挡了一般。因此想着自己一探究竟、眼见为实,也满足自己的好奇心原创 2021-09-18 11:28:27 · 493 阅读 · 0 评论 -
Hotdb全透明体现
HotDB看图说话原创 2021-09-07 18:11:20 · 141 阅读 · 0 评论 -
分布式数据库HotDB读写分离高可用图文介绍
从读者信息表中读取上海地区的客户信息对客户信息进行查询、更新等操作主从一致延迟超过1秒钟读从节点主从数据追平,恢复正常HotDB读写分离的基础功能摘要信息:主从数据的同步延迟判断,对延迟从库摘除和自动恢复主从数据的数据一致性算法核对的定期执行事务内的读操作、写操作都由主库承担非事务内的读操作负载均衡地发到从库上执行强制某一类读操作SQL语句发送到从库上执...原创 2021-09-07 18:09:37 · 245 阅读 · 0 评论 -
分布式数据库HotDB管理平台的智能拓扑
分布式事务数据库HotDB产品图应用服务层业务系统水平部署的应用程序服务逻辑数据库层让应用程序只需面对一个数据库进行操作分布式数据服务层(HotDB)为业务系统提供数据操作服务及管理数据库逻辑数据节点将数据内容相同的多个数据库归类到同一个节点下物理数据存储层存储业务系统的数据,运行mysqld服务**说明:**HOTDB服务依据自带的应用连接池,自动绘制出应用服务客户端节点拓扑,及监控应用服务的连接数和QPS。HOTDB服务依据配置信息,自动生成逻辑数据库(简称:逻辑库)节点原创 2021-09-07 18:08:11 · 163 阅读 · 0 评论 -
分布式数据库 HotDB 特性
数据一致性HotDB拥有内置的强一致算法,同时提供可视化界面的多种检测方案保证数据的强一致性,主要有主备数据的一致性检测,表结构与表索引检测,全局表数据校验与修复和数据分片正确性检测全局一致性备份、还原HotDB支持管理平台设置备份计划,能做到全局的数据状态一致、时间点一致,增量备份自动跟随完整备份实现库级别、表级别和行级别的三重并行,对业务服务无阻塞。并且可以通过管理平台一键还原,做到数据库还原强一致环境标准化通过自动化安装部署设置服务器系统参数以及数据库服务参数,提高团队的工作效率、减少人为原创 2021-09-01 15:46:37 · 214 阅读 · 0 评论 -
2021-09-01
HotDB主备容灾方案和备份容灾方案管理平台设置定时备份及自动还原主备容灾方案本地数据中心灾备提供数据库中间件的高可用、MySQL数据库的高可用跨数据中心灾备提供跨数据中心数据同步跨数据中心的数据同步时延控制在1-3秒,本地机房数据同步时延控制在1秒以内故障恢复指标RPO可达到1秒, RTO为10秒备份容灾方案备份计划包括定时备份、手动备份、完整备份、增量备份,支持逻辑备份远程备份实现本地保留一天数据,其余备份自动同步远程机房,保证备份文件的安全性还原计划支持备份数据还原以及原创 2021-09-01 15:44:25 · 59 阅读 · 0 评论 -
分布式事务数据库HotDB 备份还原工具
HotDB 备份还原工具自研软件备份工具:hotdb_backup,还原工具:hotdb_restore备份文件管理不依赖第三方工具,由数据库私有云平台的功能实现支持压缩、加密、备份binlog文件以及计算MD5值等技术强一致备份能做到全局的数据状态一致、时间点一致,增量备份自动跟随完整备份实现库级别、表级别和行级别的三重并行,对业务服务无阻塞还原演练可以校验备份数据的正确性,完善对数据安全管理的制度最大程度保证在数据灾难发生时,能顺畅的进行应对最大化减少企业的损失,同时提升管理人原创 2021-09-01 15:42:03 · 143 阅读 · 0 评论 -
秀肌肉——热璞HotDB Cloud 产品特征
应用透明应用无改造代价,以服务方式使用数据库资源,让业务研发部门专注于业 务逻辑的开发和设计• 支持 MySQL 标准通信协议,兼容通过连接库(JDBC,ODBC, API 等)、客 户端、图形化管理工具等连接和访问数据库资源• 可配置的负载均衡策略,自动完成路由的分配和转发• 统一的访问入口,数据库集群的结构变化对应用程序透明安全提供白名单访问策略,可自行设置允许访问的 IP 及 IP 段,有效防止黑客 扫描端口进行服务器攻击提供阈值报警的功能,支持实例锁定报警、连接数报警、IOPS 报警、原创 2021-08-31 17:36:35 · 110 阅读 · 0 评论 -
2021-08-31
**HotDB Cloud Server计算节点服务器: **内存:硬盘:RAID卡网卡机型服务器数量image.png交换机:要求交换机包转发速率超过10Mbps或支持线速转发。建议所有服务器部署在同一交换机(或堆叠)下,若无法做到,应采取网络跳数尽可能少的部署方式。若部署高可用网络,建议优先使用Bond0模式。特别说明磁盘需要挂载在/data目录下,软件环境需要安装perl5 ,net-tools , unzip,libaio,或者有yum源。以上配置以DELL服务器原创 2021-08-31 16:57:17 · 105 阅读 · 0 评论 -
共推国产生态建设———热璞数据库HotDB与数腾软件完成兼容性互认
近日,上海热璞网络科技有限公司(以下简称”热璞数据库”)自主研发的分布式事务数据库产品HotDB Server与上海数腾软件科技股份有限公司(以下简称“数腾软件”)自主研发的数腾迁移及容灾备份产品完成兼容性互认证。双方多次严格测试结果显示:热璞数据库HotDB Server与数腾软件迁移及容灾备份产品安装顺利、相互兼容良好、运行稳定,在产品功能、性能、安全及高可用等方面均表现出色。基于此次互认成功,双方将深度携手加强相互间合作,为企业用户提供更高质量的服务,共助企业数字化转型。为进一步推进国产化生态建设贡原创 2021-08-20 10:37:53 · 290 阅读 · 0 评论 -
分布式事务数据库HotDB的计算节点磁盘空间使用限
因磁盘空间不足会导致计算节点无法正常运行等诸多问题,计算节点在自动部署时会检测HotDB Server安装目录所在磁盘的剩余空间是否大于10G,同时,在写临时文件时也会检测磁盘的剩余空间,具体如下:用户创建会话后执行例如复杂跨库JOIN等操作时,必要时会在HotDB Server安装目录下写入临时文件。写入临时文件的同时,计算节点若检测发现安装目录所在磁盘的剩余空间不足,则终止当前会话并报错与记录日志。计算节点日志记录error级别日志如下,终止会话时提示信息与之相同:2019-06-10 18:03原创 2021-08-20 10:34:30 · 111 阅读 · 0 评论 -
HotDB 分享——分布式事务数据库安全技术干货
热璞数据库Hotdb 给大家带来了一份分布式事务数据库安全技术干货一:用户管理库应支持用户身份认证,并确保用户标识具有唯一性,且用户的身份认证信息应进行加密存储,宜采用不可逆加密算法;用户的口令应具有复杂度要求,长度应少于8位,并包含英文字母大小写、特殊字符及阿拉伯数字等组合,且系统运维管理用户应定期修改登陆口令;宜设置超时时间,登录用户在超时时间内无操作则自动结束会话;宜及时删除多余、过期用户二:访问控制基于角色的权限控制1) 数据库应具备基于角色的权限控制,数据库角色应分离管理用户以及普原创 2021-08-20 10:22:54 · 215 阅读 · 0 评论 -
HotDB Management 如何发起批量修改
勾选需要修改的巡检类目,点击“【批量操作】->【批量修改】”(二)批量填写并保存批量修改,巡检类目对应的巡检结果匹配规则、巡检结果匹配标准按系统默 认值显示,可进行调整原创 2021-08-13 16:26:23 · 70 阅读 · 0 评论 -
2021-08-11
备份还原备份还原功能能够对逻辑库的数据进行备份与还原操作。安装 hotdb-backup备份还原功能需要安装 hotdb-backup。 1. 解压 hotdb-backup 的安装包到/usr/local/hotdb 安装目录cd /usr/local/hotdbtar -zxvf hotdb-backup-*.启动备份程序(指定管理平台的 ip 和端口,端口一般是 3322)cd /usr/local/hotdb/hotdb-backupsh bin/hotdb_backup star原创 2021-08-11 17:46:55 · 84 阅读 · 0 评论 -
MySQL数据库的服务器处理能力和测试验 证方法
MySQL数据库的单机单实例的处理能力及测试验证方法数据库单机单实例测试方案使用2~4台虚拟机做压力测试机 代理程序使用VIP搭建高可用,使用2台虚拟机 业务系统后台程序采用分布式部署,使用14~16台虚拟机数据库采用配置最高的物理服务器,使用1台物理 服务器,部署1个mysqld实例和1个业务库进行压测收集不同业务并发数下的吞吐量、成功率和响应时延的数据 注意压力测试机和业务程序的服务器数量MySQL数据库复制架构的处理能力及测试验证方法数据库双机复制单实例测试方案:使用2~4台虚拟机原创 2021-08-05 15:55:26 · 311 阅读 · 0 评论 -
HotDB——布式事务数据库中不同数据库表对象的类型设计准测
原创 2021-07-27 15:47:10 · 87 阅读 · 0 评论 -
关系型云数据库HotDB Cloud 简述
HotDB Cloud是一款实现数据库资源池化、资源分配智能化 、资源弹性伸缩、资源隔离、安装部署自动智能、数据高可用、服务高可用、读写分离、SQL审计、危险SQL拦截、智能大屏、智能监控、智能备份还原等功能,以服务方式向企业内部输出。做到资源申请、交付到管理的生命周期智能自动、数据库服务智能自治,及实现企业数据库服务器资源池化和智能调度分配。...原创 2021-07-27 15:05:28 · 127 阅读 · 0 评论 -
分布式事务数据库HotDB的聚合结果集合并
MERGE_RESULT控制计算节点对聚合函数的结果是否进行合并。当该值设置为1时,计算节点将合并聚合函数的结果;当该值设置为0值,计算节点将不合并聚合函数的结果。默认情况下,MERGE_RESULT值为1。MERGE_RESULT=0时,含有聚合函数的SQL语句,计算节点将不合并结果集,每个数据节点的查询结果单独返回:mysql> selectcount() from customer;±-----------+| COUNT() |±-----------+|原创 2021-07-27 14:46:33 · 181 阅读 · 0 评论 -
分布式事务数据库HotDB的计算节点负载均衡
计算节点负载均衡HotDB Server支持多计算节点集群的节点自治。以下简称计算节点集群中Primary状态的计算节点为Primary计算节点;计算节点集群中Secondary状态的计算节点为Secondary计算节点。Primary和Secondary计算节点的数据服务完全对等,均支持所有类型的数据操作且保证数据的一致性。集群中一个或多个(不支持多数计算节点同一时间故障)节点发生故障后,只要还有一个或更多节点可用,则整体数据服务依旧可用。HotDB Server支持负载均衡:可选择使用LVS等方式原创 2021-07-14 14:54:25 · 223 阅读 · 0 评论 -
HotDB的HINT特色语法
在计算节点使用HINT语法,可绕过HotDB Server解析器,直接在指定数据节点上执行MySQL的任意SQL语句。计算节点支持两种方式的HINT语法:在HINT中使用DNID(数据节点ID):语法:/!hotdb:dnid= dnid_value/ 要执行的SQL注:dnid_value的值为某个数据节点的ID号。用户可以替换dnid_value的值来指定具体的分片节点。例如:/!hotdb:dnid= 1/select * from customer where age > 20原创 2021-07-12 14:18:31 · 112 阅读 · 0 评论 -
分布式事务数据库HotDB的计算节点启动时对逻辑库可用的判断
为保证垂直拆分场景下,出现数据节点不可用状态时,与之不相关的不同逻辑库之间的业务场景不受影响,计算节点在启动时,对所有逻辑库的可用状态做了特殊判断处理,说明如下:一、 若配置的主存储节点为可用状态,实际该存储节点无法连接,则计算节点启动时,会等待masterSourceInitWaitTimeout配置的时间(默认:300s),判断该存储节点是否真实不可连接,若在此期间,该存储节点重连无异常,则该节点初始化成功;二、 如果数据节点初始化失败且无可用逻辑库,或数据节点下无存储节点,则计算节点无法启动,原创 2021-07-09 15:14:36 · 76 阅读 · 0 评论 -
如同使用mysql一般 使用VIP连接到HotDB数据库
常规SQL语句#此处演示使用的命令。-h192.168.0.250是部署集群是配置的VIP。mysql -h192.168.0.250 -P3323 -uroot -proot #提示mysql命令不存在时,请先执行source /etc/profile.d/mysql.shuse hotdbdrop table if exists tb1;create table tb1(id int auto_increment,name varchar(24),country int,primary k原创 2021-07-09 14:32:56 · 245 阅读 · 0 评论 -
分布式事务数据库HotDB的存储节点故障切换后数据正确性保障
无论是异步复制还是半同步复制,都可能会存在这样一种情况:**在故障切换全部完成后,**原主库恢复,新主库(原从库)复制IO线程可能自动重连并获取到切换前没有获取到的事务,而这样的事务在切换的处理过程中,已经是被认定没有提交成功的事务,不能再继续复制,否则会有数据混乱的风险。因此增加计算节点参数failoverAutoresetslave,默认关闭。<propertyname=“failoverAutoresetslave”>false**故障切换后,**会暂停原主从之间IO线程,并对原主原创 2021-07-08 11:27:59 · 112 阅读 · 0 评论 -
HotDB 分布式事务数据库中不同数据库表对象的类型设计准测
**引言:## HotDB Server 数据分片利用逻辑库方式分库,隔离不同业务属性的数据可垂直或水平拆分大表,让操作集中于少量数据内置满足不同业务场景的拆分算法和丰富的表类型原创 2021-07-08 11:07:36 · 94 阅读 · 0 评论 -
收自HotDB之MySQL问答——用Percona XtraBackup,备份mysql5.6的数据库能否直接在mysql8下用 XtraBackup恢复
引言:HotDB Server 是热璞数据库基于MySQL自研的一款分布式事务数据库产品,可实现业务系统的数据容量和处理性能横向扩展,解决实时交易业务系统的“两大三高” (全称为大规模用户、大规模数据、高可靠、高并发、高吞吐)的问题。因此关于MySQL的相关问答,可做些许分享用Percona XtraBackup,备份mysql5.6的数据库能否直接在mysql8下用 XtraBackup恢复?MySQL开源数据库的软件版本说明:(1)以版本号MySQL5.6.45 为例, 5 代表第一大版本号原创 2021-07-08 10:49:57 · 135 阅读 · 0 评论 -
2021-07-05
支持 SQL 92/99标准,覆盖99.9%以上应用开发常用SQLHot DB Server 支持 SQL 92/99标准,覆盖99.9%以上应用开发常用SQL ,包括D ML 语句(D ELETE 、 INSERT 、L OAD DATA 、R EPLACE 、S ELECT 、U PDATE 、跨库J OIN) ,D DL 语句( ALTER 、C REATE 、D ROP 、T RUNCA 与R ENAME ),事务管理与锁语句,其他MySQL。IUD(INSERT 、U PDATE 、D EL原创 2021-07-06 17:26:35 · 48 阅读 · 0 评论 -
HotDB一张图带你了解不同的产品类型
HotDB 干货分享热璞数据库——分布式——应用于OLTP 业务场景原创 2021-07-05 16:38:15 · 65 阅读 · 0 评论 -
热璞数据库HotDB跨JOIN功能介绍
热璞分布式事务数据库HotDB Server支持跨存储节点的3张表以上的切分字段和非切分字段的多表关联查询,实现效果与单库一致,对应用程序透明。同时支持可视化功能,整理所有表对象间的JOIN关系并进行展示分析,提供优化建议。根据操作日志智能分析记录业务数据库内所有的SQL请求,并将其绘制为数据库的ER关系模型,从而让用户对当前业务连表查询的JOIN情况有一个全局的监控。同时提供跨库有交叉ER模型关系图,用户可监控当前跨库有交叉JOIN情况从而对表结构或SQL查询语句进行优化。用户可在计算节点参数页原创 2021-07-02 15:41:54 · 67 阅读 · 0 评论 -
HotDB 备份恢复—— 使用二进制日志(增量)恢复
关于备份恢复,上一篇介绍了HotDB 的第一种数备份恢复——使用 mysqldump 备份大家可以翻阅上一篇分享,接下来,我们介绍使用二进制日志(增量)恢复使用二进制日志(增量)恢复mysqlbinlog - 处理二进制日志文件的实用程序计算节点支持 mysqlbinlog 命令,mysqlbinlog 命令能够解析 binlog 文件用于同步增量数据,从而减少了将单机 MySQL 数据迁移至计算节点时的停机时间。使用 mysqlbinlog 连接远程 mysql 实例获取 binlog 文件并原创 2021-06-30 12:00:25 · 163 阅读 · 1 评论 -
HotDB备份恢复
计算机迅速发展的时代,时刻进行着数据联系,数据传输、数据存储、数据交换等, 这些数据作为企业的重要生产资料,万一丢失其损失可想而知。但工作中,造成数据丢失的原因很多,内在的系统故障、 外在的不稳定环境因素、介质影响, 人为的事故,误操作、黑客入等, 因此数据备份是企业保护数据的重要手段也是企业竖起的最后一道安全墙,而备份恢复是数据不丢失的很双重保障。HotDB备份恢复:使用 mysqldump 备份mysqldump - 数据库备份程序HotDB Server 支持 mysqldump 功能,用法原创 2021-06-30 10:56:18 · 88 阅读 · 0 评论 -
HotDB 程序包替换
备份管理平台目录cd /usr/local/hotdb/mv hotdb-management hotdb_management_249上传并解新版本包上传新版本包可使用rz命令或ftp文件传输工具上传新版本包解压新版本包tar -xvf hotdb-management-2.4.9-ga-20190417.tar.gz -C /usr/local/hotdb为hotdb用户赋予文件夹权限chown -R hotdb:hotdb /usr/local/hotdb/hotdb-managem原创 2021-06-25 15:13:21 · 55 阅读 · 0 评论 -
HotDB 配置库升级异常处理
问题与处理方法:1、配置库升级SQL执行出现语法报错。将执行的SQL报错信息保存,同时提供升级配置库的相关信息包括但不限于:配置库当前版本与升级目标版本、执行的升级SQL语句、配置库备份文件等,全部一起发送给产品供应商分析解决。使用上一步骤备份的文件将配置库恢复,恢复期间请停止管理平台服务程序。2、非SQL语法错误的异常情况根据错误提示,分析错误原因并解决。使用上一步骤备份的文件将配置库恢复,恢复期间请停止管理平台服务程序。问题修复且配置库恢复成功后,重新执行升级操作。...原创 2021-06-25 11:42:52 · 69 阅读 · 0 评论 -
浅析分布式数据库相比 oracle 的成本优势
企业选择产品,无论如何绕不开“成本”二字, 在国产数据库大背景下,我们来简单的分析下分布式数据库与Oracle的优势(1)TCO总体成本:生产实践及通过银行核心系统测试验证,采用国产分布式事务数据库产品匹配通用硬件设备,能做到降低50%及以上的客户交易型业务系统的TCO总体成本及单笔交易成本(注:TCO总体成本指软件授权成本+软件维保成本+硬件设备成本);(2)运维管理成本TCO:要求国产分布式事务数据库产品在硬件设备必须采用通用型(注:无NVME或PCI-E卡、品牌型号等要求),软件产品化达到智能化原创 2021-05-28 17:27:44 · 350 阅读 · 1 评论 -
#HotDB#开源问题
(1)热璞数据库产品HotDB的创始团队深度参与开源数据库社区,也曾参与及主导研发过多款开源伪分布式事务数据库产品(注:不支持 实时强一致分布式事务的数据库产品都是伪分布式事务数据库);(2)2021年3月1日热璞数据库产品HotDB已能在官网自由下载(https://www.hotdb.com/download),软件版本可永久使用;(3)在知识产权得到保护的前提下,会将产品开源...原创 2021-05-28 17:16:14 · 99 阅读 · 0 评论 -
【HotDB Q区】分布式数据库现在有很多实际应用问题,我们怎么考虑去解决?热璞有什么建议?比如是通过论坛还是官方途径?
HotDB 回答:(1)建议关注北京金融科技产业联盟,借助金融标准平台发布的行业规范,如登录金融标准全文公开系统:https://www.cfstc.org/bzgk/gk, 检索关键词 ”分布式数据库“,可查阅融合了众多国内顶尖数据库专家的知识与经验而编写出来的行业规范标准文献;(2)也可通热璞数据库HotDB官方渠道,如官方微信、技术支持邮箱等进行提问互动。...原创 2021-05-26 17:48:56 · 68 阅读 · 0 评论 -
【HOtDB Q区】 介绍 热璞数据库三地务中心
(1)首先做好同城容灾可切换的双活技术:(2)其次做好同城容灾差异化双活技术;(3)在同城容灾可切换双活技术和 同城容灾差异化双活技术的基础上,完善异地容灾技术,再加上部分定向算法功能,则能实现三地五中心多活容灾方案。...原创 2021-05-26 17:45:11 · 66 阅读 · 0 评论 -
【HotDB Q区】高可用里面,SQL缓存具体是什么意思?用户那边的返回是啥呢?
分布式数据库重点回答来了!(1)高可用里面出现的“SQL缓存”是指计算引擎(或称计算节点)上会启用队列来缓存前端应用程序访问计算引擎的SQL操作请求等信息;(2)“SQL缓存”实际是计算引擎冻结前端应用程序操作请求在缓存中,待高可用切换过程中确保数据一致性后,再将冻结的前端应用程序操作请求下发执行,并解除冻结算法功能;(3)“用户那边的返回是啥?”,在计算引擎冻结前端应用程序操作请求过程中,会按心跳及前端应用程序主动询问机制的应答是:操作请求 正在处理,确保前端应用程序对高可用切换过程无感知。..原创 2021-05-26 17:00:37 · 72 阅读 · 0 评论 -
双重保障 助力企业数字化建设| 热璞数据库与顶象技术完成产品互认
近期,经上海热璞网络科技有限公司(以下简称“热璞数据库”)与北京顶象技术有限公司(以下简称“顶象技术”)的专业技术人员历经多日严格测试,最终以双方产品兼容性良好、性能表现出色、运行稳定、安全可靠等优异成绩完成产品兼容互认并发布互认证书。此次兼容测试的成功,是成熟稳定的产品与专业团队的联合,是服务好双方共同客户强有力的保障, 为接下来双方携手合力打造企业级服务体系,提供全方位技术保障,推动企业数字化建设打下了牢固基础。信息全球化的迅速发展,加速了企业数字化进程, 同时,数字化过程也是企业面对各种挑战的过程原创 2021-05-25 16:28:10 · 537 阅读 · 0 评论 -
【HotDB Q区】热璞是又做数据库灾备方案,又做数据库供应商么?
HotDB 回答:1)热璞专注产品设计研发,是数据库产品供应商;(2)热璞为渠道伙伴及最终客户提供符合行业要求的数据库容灾方案,及金融行业制定的容灾恢复标准解读及标准方案,供渠道伙伴及最终客户选用。...原创 2021-05-20 18:03:40 · 69 阅读 · 0 评论 -
【HotDB Q区】
什么情况下需要引入仲裁节点?HotDB 回答(1)有状态计算节点集群跨数据中心部署时,需要引入仲裁计算节点;(2)跟业界产品一样,要是有状态计算节点集群跨数据中心部署,建议将仲裁计算节点单独部署到某一个数据中心(注:至少3个数据中心起步),规避单个数据中心机房级故障情况下,集群计算节点数量小于等于半数时无法对外提供服务的情况。...原创 2021-05-20 18:01:55 · 70 阅读 · 0 评论