TiDB 数据库在某省妇幼健康管理系统的应用

最新推荐文章于 2024-08-11 21:13:17 发布
最新推荐文章于 2024-08-11 21:13:17 发布
阅读量987 收藏 11
点赞数 30
文章标签： tidb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42241611/article/details/139349197
版权
本文介绍了某省妇幼健康管理系统的数据库架构优化，从 StarRocks 切换到 TiDB 和 TiFlash，解决了原有架构的问题，实现了服务器资源的合理利用，降低了运维成本，并通过 Yearning 平台提高了 SQL 审计自动化水平。
摘要由CSDN通过智能技术生成

导读

本文介绍了某省妇幼健康管理系统的建设和数据库架构优化的过程。原有的数据库架构使用了 StarRocks 作为分析层，但随着业务的发展，这套架构暴露出诸多痛点，不再适应妇幼业务的需求。为解决这些问题，该系统选择了将原有架构中的 StarRocks 替换为 TiFlash 组件，并引入了 Yearning 自动化 SQL 审计平台，提高了运维效率和业务扩展能力。新架构在人力成本释放、运维成本降低等方面取得了显著的成效。

业务背景

某省妇幼健康管理系统建设内容包括：妇幼健康信息数据库；妇幼健康信息采集系统、妇幼健康信息管理及分析系统；母子健康管理 APP、妇幼健康管理与分析 APP 等 62 个功能模块。

妇幼健康管理系统

原有数据库架构

原数据库架构

 

数据处理层

原有技术架构及其痛点

我们选择 StarRocks 作为分析层，通过 DataX + CloudCanal 的模式实现实时+离线数据同步。随着业务的迭代，这套架构不太适应妇幼业务的发展需要。

架构总体上分为四块，自底向上分别是：

  • 数据层：源端数据源主要是 MySQL 为主的关系型数据库。分别搭建 5 套（10 台）主从分别承接 14 个子库和 1 个总库 MySQL 子库 700+表。
  • 处理层：使用 CloudCanal+datax 进行实时和离线的数据同步。
    • 离线：将报表、大屏、数据交换服务采用离线方式构建 DM 主题数据集市。使用到的就是 Datax 工具结合实现。
    • 实时：使用 CloudCanal 将 MySQL 数据 1:1 同步到 Starrocks 中。
  • 分析层：分析层会
最低0.47元/天 解锁文章
每天读点书学堂
关注
  • 30
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
全球化浪潮下的数据库革新：嘉里物流 TiDB 实践价值的设想
TiDB_PingCAP 的博客
08-10 842
随着全球化业务的不断扩展和数据量的爆炸性增长，设想以 TiDB 为技术架构和数据架构的核心，能够有效的进行数据整合，同时帮助推进应用架构和业务架构的改善和发展，收敛和逐渐合并技术栈，减少相应的学习成本和运维成本，并且能够帮助缩小各个业务线之间集成难度。TiDB 技术架构能够帮助企业实现降本增效的目标，开源社区在推动技术创新和知识共享中也将起到重要作用。我期待 TiDB 在未来能够继续发展和完善，为更多的企业提供强大的数据管理和分析能力；
seatunnel2.3.3在centos7上安装
鑫哥
08-09 733
安装前需要准备点环境，因为seatunnel是基于java开发的，因此需要先安装java，我这里使用的java1.8，可以网上搜索下java安装教程，记得配置JAVA_HOME环境变量。在安装的过程中需要用到mysql命令，因此也需要安装下MySQL环境，这里也不具体讲解了，在网上搜索安装就行。接下来就是正式安装seatunnel了，
JDBC详细使用
m0_73627305的博客
08-09 452
​ JDBC是一种标准,一种规则,主要作用是使用java语言操作数据库的​ JDBC这个标准中有很多的接口,接口中有很多方法。
SpringBoot依赖之Quartz Scheduler定时调度器使用MySQL存储Job
ahauedu的专栏
08-07 554
接上一篇。本篇将在 Spring Boot 项目中，使用 Quartz Scheduler 结合 MySQL 数据库来存储 Job。
Linux安全与高级应用（四）深入探索MySQL数据库：安装、管理与安全实践
洛秋的博客
08-07 1394
Linux：作为操作系统，提供稳定的运行环境。Apache：作为Web服务器，处理HTTP请求。MySQL：作为数据库管理系统，存储和管理数据。：作为脚本语言，生成动态网页。LAMP平台的优势在于其成本低廉、可定制性强、易于开发、方便易用且安全稳定。这使得LAMP成为许多企业和开发者的首选平台。通过以上步骤，我们完成了LAMP平台的部署及其主要组件的配置和测试。LAMP平台的搭建不仅为Web开发提供了一个强大的环境，同时也展现了其在成本和效率上的优势。
springboot民办高校科研项目管理系统-计算机毕业设计源码54009
VX_DZbishe的博客
08-11 197
论文主要是对基于springboot的民办高校科研项目管理系统进行了介绍，包括研究的现状，还有涉及的开发背景，然后还对系统的设计目标进行了论述，还有系统的需求以及整个的设计方案，对系统的设计以及实现，也都论述的比较细致，最后对基于springboot的民办高校科研项目管理系统进行了一些具体测试。本次报告，首先分析了研究的背景、作用、意义，为研究工作的合理性打下了基础。
C++ SQL ORM
一个大佬的博客
08-07 504
【代码】C++ SQL ORM。
8.7-主从数据库的配置+mysql的增删改查
qq_70752758的博客
08-07 679
Slave_IO_Running和Slave_SQL_Running都是yes就表示主从数据库配置成功了。insert into 表名称 values(1,"name","word")先查看按照升序排列的qty，然后在这基础上在按照price的升序排列进行查看。当使用聚合查询以后，不能使用where，如果要使用，添加having。insert into 表名称 select * from 其他表。insert into 表 value () ,()创建可以远程登录的用户。查看升序排列的qty。
zabbix的自动发现和注册、proxy代理和SNMP监控
Alone8046的博客
08-09 277
二、zabbix通过代理服务器添加主机：分布式监控，代理服务器的作用就是分担 server 的集中式压力；先有服务器，再有模版，模版当中设置应用集，模版当中设置应用集，再应用集中配置监控项，在监控项之后配置触发器，最后配置图形（可选项）zabbix proxy（代理服务器）：代理服务器也要安装数据库，保存客户端的数据，然后再发送给服务端（代收器）zabbix客户端主动的和服务端联系，将自己的地址和端口发送给服务端，实现自动添加监控主机。snmp：简单网络管理协议，用来监控网络设备，可以监控交换机和路由器。
ORACLE 定时器一般操作数据
lc547913923的专栏
08-08 312
3、单个定时器重新跑数据。1、查询出所有定时器。2、重跑定时器的数据。
redis内存淘汰策略-------Reservoir Sampling(水库采样)
weixin_46290302的博客
08-11 466
水库采样法（Reservoir Sampling）是一种在处理大规模数据流或未知大小的数据集合时，用于从中随机抽取固定数量样本的算法。它特别适用于数据流场景，因为在数据流开始之前并不知道其总量。核心思想水库采样的核心思想是在处理一个可能无限大的数据流时，从中抽取固定数量的样本，使得每个数据元素被选中的概率是相同的。操作步骤初始化：创建一个大小为k的“水库”数组，并将前k个元素直接存入水库。替换阶段对于每一个新的元素（假设这是第n个元素），生成一个随机数r，该随机数的范围是[0, n-1]。
Error updating database. Cause: org.apache.shiro.UnavailableSecurity
qq_40202111的博客
08-08 170
mybtisplus查看MetaObjectHandler是否有自定义获取用户信息填充用户的方法。
dynamic-datasource+Mybatis多数据源使用
tiantiantbtb的博客
08-06 896
严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源。#设置默认的数据源或者数据源组,默认值即为master。#去掉默认使用HikariCP。
云计算实训25——python管理(设置清华镜像站；安装pandas数据分析⼯具；安装pymysql连接器；python脚本)
m0_73907608的博客
08-09 882
设置清华镜像站；安装pandas数据分析⼯具；安装pymysql连接器；python脚本；
Mysql——索引
weixin_43891057的博客
08-11 276
索引是一种数据结构，可以帮助mysql高效获取数据，如同字典目录帮我们快速定位数据。提高了数据检索的效率降低了磁盘IO的成本索引会对数据进行排序降低了排序成本索引会占用磁盘空间索引提高了查询速度，但是增删改操作同时还需要更新索引文件速度降低。
zabbix监控软件
Alone8046的博客
08-08 884
zabbix_proxy：代理服务器，是安装在监视的目标系统上的软件组件，可以代替zabbix_server收集数据，然后由代理软件再传送给服务端zabbix_server。zabbix_sender：发送器，可选组件，可以将客户端的数据自定义操作之后发送到zabbix服务器。2.zabbix可以提供各种类型的监控模板，保证服务器的正常运行，灵活的通知机制，可以让管理员快速定位。zabbix_get：可选组件，提供命令行的工具（zabbix的命令行）。添加数据库用户，以及 zabbix 所需的数据库信息。
第4章 InnoDB记录结构（行格式）
最新发布
qq_40467656的博客
08-11 388
InnoDB是一个将表中的数据存储到磁盘上的存储引擎，所以即使关机后重启数据还是存在的。而真正处理数据的过程是发生在内存中的，所以需要把磁盘中的数据加载到内存中，如果是写入或修改请求的话，还需要把内存中处理后的内容刷新到磁盘上。问题：磁盘读写速度相较于内存非常慢，需要提高获取某些记录的效率。解决：InnoDB采用将数据划分为若干个页，以页作为磁盘和内存之间交互的基本单位，InnoDB中页的大小一般为16KB即一次最少从磁盘中读取16KB内容到内存中，一次最少把内存中的16KB内容刷新到磁盘中。
【基础篇】数据结构
shenyongsi的博客
08-09 664
我们都知道 Redis 中的数据结构有：String，List，Hash，Set，Sort Set等，那么他们对应的底层的数据结构有哪些呢？可以看到，String 类型的底层实现只有一种数据结构，即简单动态字符串。但是，其他四种数据结构，都有两种底层实现结构，它们被称为“集合类型”。上面的数据结构都是值的底层实现，键和值之间用什么结构组织呢？
Haproxy对MySQL服务实现四层负载
ouqisheng的博客
08-11 271
四层负载均衡是一种网络技术，通常工作在 OSI 模型的第四层，即传输层。它主要基于 IP 地址和端口号来进行流量的分配和转发。四层负载均衡的主要作用是在多个服务器之间均匀地分配网络流量，以提高系统的性能和可用性。例如，当用户发送请求到负载均衡器时，负载均衡器会根据预先设定的算法（如轮询、加权轮询、最少连接等），将请求转发到后端的服务器。四层负载均衡还可以实现对服务器的健康检查。如果某台服务器出现故障，负载均衡器会自动将流量转发到其他正常运行的服务器上，从而保障服务的连续性。
在 QT 中使用 TiDB 数据库
05-12
要在QT中使用TiDB数据库，你需要完成以下步骤： 1. 下载并安装MySQL Connector/C++（TiDB是兼容MySQL协议的）。 2. 在QT项目中包含MySQL Connector/C++的头文件。 3. 使用MySQL Connector/C++提供的API连接到TiDB数据库。 4. 执行SQL语句来操作TiDB数据库。 下面是一个简单的示例代码，它连接到TiDB数据库并查询一个表： ```cpp #include <QCoreApplication> #include <iostream> #include <mysql_connection.h> #include <mysql_driver.h> #include <cppconn/exception.h> #include <cppconn/resultset.h> #include <cppconn/statement.h> int main(int argc, char *argv[]) { QCoreApplication a(argc, argv); try { // 创建一个MySQL连接 sql::mysql::MySQL_Driver *driver; sql::Connection *con; driver = sql::mysql::get_mysql_driver_instance(); con = driver->connect("tcp://localhost:4000", "root", "password"); // 设置数据库编码 con->setSchema("mydatabase"); con->setClientOption("characterSetResults", "utf8"); // 执行SQL语句 sql::Statement *stmt; sql::ResultSet *res; stmt = con->createStatement(); res = stmt->executeQuery("SELECT * FROM mytable"); // 处理查询结果 while (res->next()) { std::cout << res->getInt("id") << ", "; std::cout << res->getString("name") << std::endl; } // 释放资源 delete res; delete stmt; delete con; } catch (sql::SQLException &e) { std::cout << "# ERR: SQLException in " << __FILE__; std::cout << "(" << __FUNCTION__ << ") on line " << __LINE__ << std::endl; std::cout << "# ERR: " << e.what(); std::cout << " (MySQL error code: " << e.getErrorCode(); std::cout << ", SQLState: " << e.getSQLState() << " )" << std::endl; } return a.exec(); } ``` 注意，TiDB使用MySQL协议，但是与传统MySQL的一些特性有所不同，例如，TiDB是分布式的、支持事务的数据库，因此你需要根据TiDB的文档来正确地使用它。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

每天读点书学堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值