cdy816-CSDN博客

原创看Mars数据库怎么将190M数据压缩进1.9M的

Mars 数据库在新能源汽车车载系统中的应用测试，针对车载系统信号多，采集频率高，数据量大，Mars数据库对数据有着极高压缩率和稳定的性能。

2023-06-17 17:35:23 154 1

今天将Mars 数据库下一个阶段的，分布式版本的整体结构考虑了一下，具体先见下图：1. ManagerNode 负责集群的多台机器间管理。1.1 提供 API 服务：消费数据服务，驱动接口API服务1.2负责 DataNodeGroup 的管理提供变量和DataNodeGroup间的映射关系服务1.2.1 提供DataNodeGroup 内Primary DataNode获取服务1.2.2 DataNodeGroup 内 API 访问接口服务。1.3 ...

2021-08-04 08:39:34 442

原创 Mars 发布后做的一个测试

Mars 数据库已经发布了第一个小的版本，今天就想基于这个版本做一个性能测试，挑战我之前一直没有测试的极限，单机300万点，数据按照秒级进行变化。最近工作有点忙，一直没有时间处理Mars数据库的事情。今天有个时间空隙，就想测试下刚发布一个小版本的Mars数据库性能究竟怎么样，在测试之前我心里没有底的；因为之前在家里的电脑上做过测试效果不是很理想，100万点可以稳定运行，300万点压缩、记录的速度明显跟不上，所以今天测试之前还是有点小的忐忑。然而今天测试的结果，有点出乎我的意料：300万Double类型的

2020-11-01 09:36:27 314

原创 mars 数据库历史文件结构

前一章节“Mars 数据库的由来”中介绍了，Mars数据库文件的设计思路，这里详细描述下，历史文件的结构。数据量计算我们考虑一下，一个点需要记录哪些内容：时间，值，质量（表示值得好坏）。对于一个Double型的值，一共需要：8+8+1 =17 byte.我们设计的数据库要支持值按秒进行变化，故一个点一天的数据量有：17*60*60*24/1024/1024=1.4 Mb一台机器如果支持100万点，则一天的数据量有：1.4 * 1000000 /1024/1024 = 1.336 Tb如果是一年的

2020-10-08 17:46:16 426

原创 Mars 数据库的由来

一切源于一次失眠2019年10月份，当时一直在考虑公司的软件产品中的实时库部分目前存在的问题。目前公司的产品能够达到10万点秒级记录的水品，瓶颈在历史记录的存储使用的是第三方关系型数据库，在大量历史数据需要存储时，记录存储跟不上；即使后来优化也就能达到20万的水平，离主流单机100万的水平差距较大，距离业界翘楚PI据说达到了千万级别更是一个天上，一个地下。能否设计一种合理的文件存储结构，能达到快速存储以及快速检索就成了要考虑的内容。快速存储的问题不大，目前固态硬盘写入速度那是刚刚的，即使机械硬盘写入速度也

2020-10-07 18:53:18 803 4

转载 Mars 实时物联数据库应用网络结构

最近正在开发一款高性能实时库（Mars 实时物联数据库），想到了这款数据库在实际项目中怎么使用的问题。今天抽点时间构想了整个架构，这个架构也涵盖了对于传感器设备众多，消费端终端，但是每个传感器设备需要采集的设备数据并不是很多的物联网应用场景。主要从单机版Mars 1.0和分布式版Mars 2.0这两个版本所对应的场景进行描述结构。(单机版Mars 应用结构框架图)(分布式Mars 应用结构框架图)...

2020-06-23 22:58:47 315