HotDB Server V2.5.4在新功能新特性方面有大幅提升:
Server端:在SQL语法上支持LOAD DATA相关语句、对RENAME语法不再要求需要新表配置、支持部分场景中UPDATE语句更新分片字段值;在运维管理上记录不常见SQL执行日志记录,便于排查异常问题、优化多节点集群模式下的自增序列处理逻辑,提升系统性能。
管理平台:在数据正确性方面提供数据唯一约束检测功能,同时增加主备一致性表维度检测;在运维管理方面新增管理员端的多套集群监控大屏、计算节点服务异常告警、SQL优化建议等功能;在数据安全方面提供XA模式下的任意时间点数据恢复、支持非root用户使用sudo功能进行高权限操作、邮箱设置支持免校验登录等。
Management新功能介绍
- 管理员首页
- 功能背景:
管理员用户目前无法以全局视角查看所管理的计算节点集群的业务数据、流量数据、集群状态、集群配置等信息。为了方便管理员用户及时掌握集群动态,管理平台提供管理员首页大屏展示功能。 - 功能说明:
1.管理员首页支持查看所有正常开启监控的计算节点集群,可通过顶部tab栏进行切换展示;
2.首页分为基础数据、统计数据、峰值数据、运行数据、配置数据五个模块;
3.配置数据模块主要展示管理平台、计算节点、存储节点部分重点参数的设置情况。
SQL优化建议
-
功能背景:
当前操作日志智能分析页面存在诸多冗余信息,故此次对该页面的易用性进行了优化,同时提供了针对SQL查询语句、表结构、表索引的优化建议,向智能自治迈出第一步 -
功能说明:
合并计算节点和存储节点「执行次数」与「耗时分布」;增加「存储节点执行时间占比」;隐藏并优化搜索筛选功能;
根据管理平台内部算法,检查SQL语句结构、执行时间、执行计划等,筛选出不合理的SQL语句,并给出优化建议。
1.子查询嵌套超过三层,建议根据业务需要改写SQL; -
使用union或union all对同一张表查询超过三次的,建议合理使用case when 等条件判断减少union次数;
3.建议根据业务需要使用union all 而非union; -
当前查询的表为水平分片表,建议where后面的条件都使用分片字段;
5.此条查询为跨库JOIN查询,建议关联字段为分片字段。
-
功能说明:
-
对于计算节点或存储节点平均执行时间,当昨日00:00 ~ 24:00内平均执行时间高于历史平均执行时间的两倍,显示预警提示 ;
2.提供SQL性能追踪功能,可视化的显示执行一条SQL语句的执行剖析(HotDB Profiles);
3.输入SQL查询语句,一次可输入最多三条,点击【执行】查看性能追踪对比结果; -
执行剖析将显示每一个步骤的相对时间点和耗时(us为单位);
-
点击【查看执行时间图解】查看执行剖析可视化结果。
-
功能说明:
通过检测表结构以及与表相关的SQL语句的执行计划、执行时间等,在「表结构与表索引检测」页面提供表结构或表索引的优化建议;
表状态更新为正常、表结构定义异常、表索引定义异常、表结构未定义、表索引未定义;
表结构详情页面增加「索引详情」;
表索引和表结构优化建议列举如下(更多建议参考《分布式事务数据库HotDB Server【管理平台】功能使用手册》):
1.字段名,此分片字段基数较高,基数除以总行数大于0.1,建议为此字段添加索引; -
索引名(字段名,字段名),此组合索引存在两个字段基数相差10倍以上,建议交换顺序,将基数低的字段放在后面,例如修改为索引名(字段名,字段名);
3.索引名(字段名),此索引检测时未被使用,建议检查后优化此索引; -
索引名(字段名),此索引字段基数小于100或基数除以行数小于0.001,建议创建其它高效的索引或组合索引替代;
5.索引名(字段名),此索引字节长度大于256字节且字段前缀就能达到较理想的选择性,建议修改索引,取合理长度前缀,例如修改为(此字段的合理长度前缀)。
6.字段名,此字段不存在 NULL 数据,建议修改为 NOT NULL。
7.字段名,此字符串字段可能为状态标志位字段,建议修改为 enum\set 类 型。
- 数据唯一约束检测
-
功能背景:
HotDB Server V2.5.3管理端口已支持使用“check @@history_unique”命令对集群中已开启唯一约束的表的历史数据进行检测。可及时发现已开启唯一约束的列是否存在数据重复的问题。 -
功能说明:
1.支持对水平分片表与子表发起数据唯一约束检测;
2.检测结果“异常”的记录可通过【检测详情】,查看数据异常信息;
3.检测结果“正常”的记录不提供【检测详情】入口。
-
功能说明:
1.检测记录详情展示检测任务中所有表的检测结果情况,默认展示数据异常表的信息; -
“唯一键”列展示的是检测表中设置的所有具有唯一约束的列字段名称;
-
“检测详情”为检测结果异常表的数据重复展示,检测结果正常的表该列为空显示。若该列显示的内容超过2048字节,则详细信息需要点击右侧【下载】按钮下载查看;
4.检测记录详情支持导出功能,但仅限检
5.测结果为“异常”的信息记录;
6.点击右侧【查看表信息】按钮,可查看检测表的更多信息,例如:分片方式、分片字段、所属节点、建表语句等。
- 非root用户支持sud