分布式事务 数据库分片
文章平均质量分 56
oulazs
这个作者很懒,什么都没留下…
展开
-
【HotDB 技术干货】MySQL Client访问MySQL Server的过程剖析
前言 好奇心绝对是技术咖们最显著的标签,但好奇只是开始,满足好奇才是他们的个性~ ~,下面小编就邀请大家一起跟着HotDB高级研发工程师霍伟元感受只属于MySQL世界的神秘“景象”。 开源数据库MySQL是世界上最流行、使用最广泛的数据库软件产品。个人也是随着使用MySQL数据库的时间越长,就不由自主地思考:它到底是怎么运行的,开始时总是觉得好神奇而又不踏实,翻遍了MySQL数据库的原理书籍后总算踏实了,但觉得隔靴搔痒,犹如清晨的深山美景被晨雾遮挡了一般。 因此想着自己一探究竟、眼见为实,也满足自己的好奇心原创 2021-09-18 11:28:27 · 471 阅读 · 0 评论 -
分布式事务数据库HotDB的计算节点磁盘空间使用限
因磁盘空间不足会导致计算节点无法正常运行等诸多问题,计算节点在自动部署时会检测HotDB Server安装目录所在磁盘的剩余空间是否大于10G,同时,在写临时文件时也会检测磁盘的剩余空间,具体如下: 用户创建会话后执行例如复杂跨库JOIN等操作时,必要时会在HotDB Server安装目录下写入临时文件。写入临时文件的同时,计算节点若检测发现安装目录所在磁盘的剩余空间不足,则终止当前会话并报错与记录日志。 计算节点日志记录error级别日志如下,终止会话时提示信息与之相同: 2019-06-10 18:03原创 2021-08-20 10:34:30 · 106 阅读 · 0 评论 -
HotDB 分享——分布式事务数据库安全技术干货
热璞数据库Hotdb 给大家带来了一份分布式事务数据库安全技术干货 一:用户管理 库应支持用户身份认证,并确保用户标识具有唯一性,且用户的身份认证信息应进行加密存储,宜采用不可逆加密算法; 用户的口令应具有复杂度要求,长度应少于8位,并包含英文字母大小写、特殊字符及阿拉伯数字等组合,且系统运维管理用户应定期修改登陆口令; 宜设置超时时间,登录用户在超时时间内无操作则自动结束会话; 宜及时删除多余、过期用户 二:访问控制 基于角色的权限控制 1) 数据库应具备基于角色的权限控制,数据库角色应分离管理用户以及普原创 2021-08-20 10:22:54 · 202 阅读 · 0 评论 -
2021-08-11
备份还原 备份还原功能能够对逻辑库的数据进行备份与还原操作。 安装 hotdb-backup 备份还原功能需要安装 hotdb-backup。 1. 解压 hotdb-backup 的安装包到/usr/local/hotdb 安装目录 cd /usr/local/hotdb tar -zxvf hotdb-backup-*. 启动备份程序(指定管理平台的 ip 和端口,端口一般是 3322) cd /usr/local/hotdb/hotdb-backup sh bin/hotdb_backup star原创 2021-08-11 17:46:55 · 74 阅读 · 0 评论 -
HotDB备份恢复
计算机迅速发展的时代,时刻进行着数据联系,数据传输、数据存储、数据交换等, 这些数据作为企业的重要生产资料,万一丢失其损失可想而知。 但工作中,造成数据丢失的原因很多,内在的系统故障、 外在的不稳定环境因素、介质影响, 人为的事故,误操作、黑客入等, 因此数据备份是企业保护数据的重要手段也是企业竖起的最后一道安全墙,而备份恢复是数据不丢失的很双重保障。 HotDB备份恢复: 使用 mysqldump 备份 mysqldump - 数据库备份程序 HotDB Server 支持 mysqldump 功能,用法原创 2021-06-30 10:56:18 · 83 阅读 · 0 评论 -
国产分布式事务数据库在金融领域的实战经验
以国家开发银行为例,介绍首个国产数据库在金融A类系统项目中的成功应用,且该项目被评为人行2018年度银行科技发展二等奖。 国家开发银行助学贷款双系统并行运行案例的项目背景 国家开发银行累计签订助学贷款合同2100多万份,累计发放助学贷款人民币1360亿元,占全国助学贷款业务总量的90%以上,覆盖了28个省(自治区、直辖市)、2296个县(区)、2711所高校,涵盖了教育部认可的所有大学、高职专科、二级学院等各类院校。 在“互联网+”行动计划和大数据国家战略指引下,大数据、云计算、移动互联等一批先进技术必将原创 2020-12-01 11:08:36 · 426 阅读 · 1 评论 -
HotDB分片方案在线变更(特色功能之一)
提供对业务表的表类型、分片规则、分片字段、分片所属数据节点四个维度进行在线变更的支持。业务表在变更期间不会锁表,业务可对表进行正常的IUD操作。 .1.分片方案在线变更记录 页面显示已执行完成或正在执行的变更任务记录,正在变更的任务允许通过【取消执行】来取消并回滚操作 正在执行的任务可实时查看执行进度,每3秒刷新一次 可通过“逻辑库”、“表名称”、“状态”来筛选查看任务记录 任务记录“状态”通常有9种,依次为: A.成功:任务正常完成且未出现数据不一致情况。 B.成功:任务正常完成但出现部分数据不原创 2020-08-13 17:20:32 · 199 阅读 · 0 评论 -
热璞数据库HotDB Backup介绍
MySQL自身的mysqldump工具是通过单线程工作依次导出多个表,缺乏并行的机制,这就使得它无法迅速地备份数据。mydumper 作为一个实用工具,能够良好支持多线程工作,且可以在并行多线程的表中读入数据并同时写到不同的文件里,这使得它在处理速度方面快于传统的mysqldump 。mydumper的特征之一是在处理过程中需要对表加以锁定,因此如果我们需要在工作时段执行备份工作,就会引起 DML 阻塞。在HotDB Server中也有一个类似于mydumper的本地程序,每个数据节点使用该程序,监听来自H原创 2020-08-13 14:59:50 · 208 阅读 · 0 评论 -
热璞数据库HotDB智能大屏
HotDB Server支持一块屏幕支持一块屏幕展示集群的关键指标,包括集群运行状态、表数据变化量TOP排行、表吞吐量变化TOP排行、集群总体数据信息(总数据量、当日新增数据量、当日前端吞吐量、当日后端吞吐量、前后端不同操作类型吞吐速率、集群吞吐量、单数据节点吞吐量)、重要日志信息(备份情况、慢查询情况、异常表信息等)。借助智能首页大屏功能,实现一屏知晓集群概况信息、运行状态、功能设置操作入口,有效节约运维人员收集和分析集群整体数据的时间,同时智能大屏还提供集群数据访问链路状态、数据服务链路状态、隐患源或异原创 2020-07-23 17:19:03 · 166 阅读 · 0 评论 -
热璞数据库HotDB分片方案智能推荐
分片方案智能推荐 HotDB提供可视化管理平台的数据分片方案智能优化功能,支持通过仿真压测环境生成的SQL日志交予计算节点进行自动化智能分片方案推荐计算,最终可为用户生成符合实际生产环境的业务表分片参考方案,能够更好地帮助用户通过实际业务场景找到合适的表分片方案 如图: 业务系统的数据分片最佳实践推荐方案 得到数据分片方案智能推荐的结果后,可以在线进行整体批量修改,且对业务无阻塞。 ...原创 2020-07-23 16:26:15 · 154 阅读 · 0 评论 -
热璞数据库HotDB水平分片表的分片规则
应答:HotDB Server分片规则功能为表的水平拆分配置某种路由方式及算法。目前计算节点支持分片规则类型有:五种高级分片类型(ROUTE、RANGE、MATCH、SIMPLE_MOD、CRC32_MOD)、两种自动分片类型(AUTO_MOD、AUTO_CRC32),如图: 自动分片 多种自定义分片 ...原创 2020-07-22 18:04:38 · 196 阅读 · 0 评论 -
热璞数据库Hot DB数据容量如何?
数据存储容量,无限制,可达1PB及以上原创 2020-07-22 17:34:09 · 123 阅读 · 0 评论 -
实力验证—— 热璞数据库以卓越的产品性能成为首批通过信通院金融数据库性能测评厂商
实力验证(证明/硬实力/产品说话)—— 热璞数据库以卓越(优秀)的产品性能成为首批通过信通院金融数据库性能测评厂商 昨日,为防止北京疫情扩散,响应政府抗议号召,由中国信息通信研究院(简称“中国信通院”)主办的2020大数据产业峰会 成果发布会在于7月9日通过网络直播方式如期召开。备受关注的环节“第十批大数据产品能力测评结果发布”,在千呼万唤中为大家揭晓。 国产基础软件分布式事务数据库产品HotDB,历经十余年打磨,凭借产品硬实力成为业内仅四家厂商中的其中一家首批通过信通院金融数据库性能测评。热璞HotDB转载 2020-07-14 17:48:14 · 2479 阅读 · 0 评论 -
分布式事务数据库HotDB硬件配置
有同学在其他的平台问到,热璞数据库HotDB的硬件配置问题, 我们分2种环境 第一:测试环境 分布式事务数据库服务平台的功能测试环境——HA版本 说明: 若只做功能测试,则MySQL数据库服务可采用虚拟机的方式部署,HotDB服务推荐部署在物理服务器上。 若不测试HotDB服务切换的功能,则只需要一台物理服务器部署HotDB服务。 3.若功能测试和性能测试共用一套环境,则推荐MySQL数据库服务...原创 2020-04-21 11:22:15 · 227 阅读 · 0 评论 -
洋山深水港四期建设中分布式事务数据库HotDB的关键作用
洋山深水港四期建设要求突破传统码头业务系统的处理能力实现从集中式到分布式架构上的转型,且 码头操作系统的智能任务调度服务软件( ITF )是码头生产管理系统的核心软件组成,承担了整个生产系统的任务接收、任务智能分配调度、工作站算力智能调度、任务计算结果完成后的回传、集群管理和操作审计等功能。 由于洋山深水港规模庞大、自动化设备繁多、港口调度任务量日益增加,且存在高峰调度等情况,因而产生规模庞大的数...原创 2020-03-24 22:49:54 · 216 阅读 · 0 评论 -
浅谈 如何选择适配数据库
大数据、人工智能、 区块链、 5G 、物联网 ,这些标志着世界进入数字化时代的词已不陌生, 数字经济已经发展成为新的经济形态,并稳定快速的发展,同时不断推动传统企业向数字化转型。 在这种复杂多变、个性化要求极高的业务场景中,数据库则成为了企业转型的核心。 而数据库的选型是否能满足场景的需求? 是否能支撑业务的稳定发展?甚至能否帮助企业降本增效?这些是笔者在此跟大家分享并希望有机会可一起探讨的。 在...原创 2020-03-23 14:09:30 · 1046 阅读 · 0 评论 -
分布式事务数据库HotDBv2.5.1版本
前言 HotDB Server V2.5.1版本是热璞数据库在V2.5.0计算节点集群化里程碑的基础上继续打磨的又一阶段性成果。 分片信息在线变更、直接通过已有分片规则建表、可视化的在线升级管理、用户角色切换等功能会为数据库运维工作带来更多便利;首页监控大屏、逻辑拓扑监控、物理拓扑监控、连接情况报表等页面会为数据库监控工作带来不一样的视觉体验;非确定性函数代理等功能会为数据一致性带来更高的...原创 2020-03-21 23:10:59 · 296 阅读 · 0 评论 -
分布式事务数据库产品HotDBV2.5.0版本
前言 我们一直在追逐实现分布式事务数据库产品HotDB Server计算节点“集群化”(或称:多节点)的架构,以提供更高的服务可用性、服务持续性,及增加计算节点故障切换的柔性。经过近半年的技术预研、算法设计、编码实现和测试验证,分布式事务数据库产品HotDB Server V2.5.0 版本“集群化”服务架构现隆重与大家见面,其配套功能,例如:集群部署、集群监控、集群日志查询等也同步发布...原创 2020-03-19 23:35:27 · 300 阅读 · 0 评论 -
分布式事务数据库的数据分片规则
第一:分片字段的值固定性 分片字段的值与行记录一同产生 分片字段的值在行记录生命周期内不会更新 第二:分片字段的数据分离性 分片字段的值能有效控制行记录的存储位置 分片字段的值具有特殊业务代表性 业务处理操作过程中‘,绝大多数情况会带上分分片字段 分片字段值与分片算法组合,能控制行记录的分布相对均匀 第三:分片字段的伸缩性 分片字段与分片算法组合后,要便于数据服务的吞吐量能平滑扩容 分片...原创 2020-03-05 14:30:10 · 508 阅读 · 0 评论