- 博客(14)
- 收藏
- 关注
RSS订阅原创 海山数据库（He3DB）从方法到实践，构建以场景为中心的体验管理体系
编者按：体验优化的过程中设计师经常会遇到几个阶段，发现问题、定义问题、优化问题、查看反馈，但在产品快速迭代的过程中，体验的问题经常被归类到“不紧急”需求中，并逐步转为长尾问题，这些不被重视的问题聚沙成塔逐步击溃体验的防线。为了从更多视角发现更多体验问题，产品每个季度进行一次交叉走查或专家走查，扩大走查人员的范围，发动不同的角色参与到产品的体验中，发现一些被忽略和隐藏的问题，并从6个维度对产品进行评分，进而为产品优化助力。在一年中的工作中，支撑了10余款产品完成，20余个业务分析，共发现问题50余个。
2024-05-30 11:35:08
700
原创 海山数据库（He3DB）数据仓库发展历史与架构演进：（一）传统数仓
数据仓库的演进变革的因素有很多，例如快速的业务模式与群体规模的数据量带来的大数据处理技术、互联网的发展带来的数据源及数据类型的增多、人工智能的发展带来数智的融合、云计算交付模式的出现需要的细粒度的资源管理与隔离等，业务实时性的要求等都会带来数据仓库架构的变化。随着业务的发展，单机数据仓库的数据存储和计算模式不能满足大量数据处理的需求，在这个背景下基于MPP架构的数据仓库成为主流的解决方案，这阶段的数仓产品以在2000年代后出现的Teradata、Greenplum、Vertica等为代表。
2024-05-30 11:33:58
845
原创 海山数据库（He3DB）数据仓库发展历史与架构演进：（三）云数仓
数据仓库的演进变革的因素有很多，例如快速的业务模式与群体规模的数据量带来的大数据处理技术、互联网的发展带来的数据源及数据类型的增多、人工智能的发展带来数智的融合、云计算交付模式的出现需要的细粒度的资源管理与隔离等，业务实时性的要求等都会带来数据仓库架构的变化。传统数仓将计算与存储部署在同一个节点，集群的扩容复杂，需要进行数据的迁移，同时架构存在木桶效应，单节点故障会影响整体的性能，且资源管理不灵活，无法满足不同场景下资源隔离及动态调整的需求。，这些产品之间的功能基本相同，只是在技术细节的实现各有不同。
2024-05-30 11:32:27
386
原创 海山数据库（He3DB）数据仓库发展历史与架构演进：（二）大数据数仓
但是数据仓库从概念上看是一个面向主题、集成、相对稳定和反映历史变化的数据集合，在数据仓库中信息是在不同的业务系统中进行集成，并经过一系列加工、整理和汇总等过程，形成规范性的关于确定主题的一致的全局信息，可以对这些数据进行频繁的可重复的分析。数据仓库的演进变革的因素有很多，例如快速的业务模式与群体规模的数据量带来的大数据处理技术、互联网的发展带来的数据源及数据类型的增多、人工智能的发展带来数智的融合、云计算交付模式的出现需要的细粒度的资源管理与隔离等，业务实时性的要求等都会带来数据仓库架构的变化。
2024-05-30 11:31:24
338
原创 海山数据库（He3DB）代理ProxySQL使用详解：（一）架构说明与安装
后端的MySQL实例可根据用途配置到不同的hostgroup中，由ProxySQL基于7层网络协议,将来源于APP的流量路由到对应的hostgroup内，从而实现负载均衡或者读写分离。通常用于黑名单功能，即如果匹配该规则后，如果其error_msg不为空，则客户端的操作将会接受到error_msg设置的错误信息；transaction_persistent：表示是否持久化事务，设置为1表示开启一个事务后，该事务的所有操作均在同一个hostgroup中操作完成，其会忽略设置的任何查询规则；
2024-05-24 17:00:14
322
原创 海山数据库（He3DB）代理ProxySQL使用详解：（二）功能实测
后面启动会就不会读取proxysql.cnf文件了！如果想要让proxysql.cnf文件里的配置在重启proxysql服务后生效(即想要让proxysql重启时读取并解析proxysql.cnf配置文件)，则需要先删除/var/lib/proxysql/proxysql.db数据库文件，然后再重启proxysql服务。这样就相当于初始化启动proxysql服务了，会再次生产一个纯净的proxysql.db数据库文件(如果之前配置了proxysql相关路由规则等，则就会被抹掉)。
2024-05-24 16:49:28
374
原创 海山数据库（He3DB）之线程池方案讲解
同时，由于保留了一定数量的连接，当业务端新请求到达时可直接复用、无需新建连接，节省业务侧建连时间。判断当前请求是否属于高优先级队列，若属于，则放入高优先级队列，反之，则放入低优先级队列；移动云优化后的线程池会将工作线程数控制在一定范围内，随着并发数的增加，性能基本与最高点持平，无明显下降趋势。线程池的不足在于当请求偏向于慢查询时，工作线程阻塞在高时延操作上，难以快速响应新的请求，导致系统吞吐。的状态，同时，对延迟的容忍度较低，因此，线程池节流效果不太理想。不过，即使在这种情况下，也可以通。
2024-05-24 16:48:38
286
原创 海山数据库（He3DB）之MySQL计算下推
计算下推是数据库优化器优化查询性能的一种常见手段，早期的数据库系统提及的计算下推一般是指谓词下推，其。谓词下推是指将查询语句中的过滤表达式尽可能下推到距离数据源最近的地方做计算，以尽早完成数据的过滤，进。层做查询优化时，为了避免下推后导致结果集有误，需先判断是否满足下推条件（单表查询、的同时，还可以把数据存放在其他的存储引擎上。之间直接比较的效率，在这种情况下，条件被下推到存储引擎做计算。这种采用经典火山模型的关系型数据库，最常见的就是谓词下推。念逐步流行，计算下推的涵盖范围由此从基本的谓词。
2024-05-24 16:47:17
280
原创 云原生数据库海山（He3DB）PostgreSQL版核心设计理念
薛港，移动云高级研发工程师，负责云原生数据库海山PostgreSQL版架构设计。拥有逾十年数据库内核开发经验，在云计算基础设施与数据库整合领域具备丰富的实践知识。
2024-04-12 17:15:41
303
原创 海山数据库（He3DB）Redis技术实践：继承开源Redis精髓，强化升级企业级服务
数字化转型中的企业数据的处理速度和效率直接关系到企业的竞争力，Redis作为业界广泛使用的开源键值对存储系统，以其卓越的性能和丰富的数据结构，成为了众多开发者和企业的首选。
2024-04-11 15:03:36
939
原创 海山数据库（He3DB）原理剖析：浅析OLAP数据库计算引擎中的统计信息
张步涛，中国移动云能力中心数据库产品部-OLAP数据库开发工程师。主要参与OLAP内核研发/湖仓一体研发相关工作。
2024-04-10 10:49:11
593
原创 海山数据库（He3DB）原理剖析：浅析Doris跨源分析能力
张步涛，中国移动云能力中心数据库产品部-OLAP数据库开发工程师。主要参与OLAP内核优化/湖仓一体分析的研发。
2024-04-09 13:11:22
564
原创 海山数据库（He3DB）技术干货：StarRocks Compaction机制解析及性能调优
本文以StarRocks新发布的3.2.1版本为基准，介绍了新架构下生产者-消费者模型的Compaction任务管理框架。针对任务管理框架的核心问题，即如何挑选rowset进行Compaction，介绍了基于大小分层的rowset挑选策略，并分析了Compaction紧迫程度评估指标Score的影响因素，总结了该策略的优点；其次阐述了Compaction的调度执行流程；最后，从两个典型场景角度出发，作了Compaction性能调优的思考。
2024-04-08 14:49:58
671
原创 数据仓库发展历史与架构演进
但是数据仓库从概念上看是一个面向主题、集成、相对稳定和反映历史变化的数据集合，在数据仓库中信息是在不同的业务系统中进行集成，并经过一系列加工、整理和汇总等过程，形成规范性的关于确定主题的一致的全局信息，可以对这些数据进行频繁的可重复的分析。数据仓库的演进变革的因素有很多，例如快速的业务模式与群体规模的数据量带来的大数据处理技术、互联网的发展带来的数据源及数据类型的增多、人工智能的发展带来数智的融合、云计算交付模式的出现需要的细粒度的资源管理与隔离等，业务实时性的要求等都会带来数据仓库架构的变化。
2024-04-07 17:48:46
686
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人