mpp
文章平均质量分 73
BigDataMK
这个作者很懒,什么都没留下…
展开
-
Doris FE启动流程源码解读
Doris中FE主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。本文主要看一下Doris的fe在启动时做了什么。原创 2023-06-19 10:03:08 · 1023 阅读 · 0 评论 -
PG系列数据库TPCH测试文档
postgresql 语法的数据库通用TPCH测试流程原创 2022-11-14 18:00:55 · 1117 阅读 · 1 评论 -
StarRocks 自增ID实现分页优化
目前StarRocks在不支持自增ID的情况下,对于明细模型的分页查询场景,由于要保证每一次分页查询出来的数据的唯一性,需要我们人为去指定order by的列,无法利用到StarRocks自身的排序键等特性,造成分页查询场景下,性能并不是很好。有没有一种替代方案能够在外部实现一种自增id,保证每个批次提交的数据都比之前批次的数据的ID大,同时,该ID具有唯一性。并且是一个友好的数据类型(数值型),用来做明细模型的第一列,利用StarRocks的排序键来为分页场景加速。原创 2022-09-13 14:09:34 · 3013 阅读 · 0 评论 -
flinkCDC数据同步之 postgresql to starrocks
flinkCDC数据同步之 postgresql to starrocks原创 2022-08-24 17:35:14 · 1561 阅读 · 2 评论 -
MatrixKV产品体验
MatrixKV是一个简单的分布式强一致KV存储系统,采用Pebble作为底层的存储引擎,MatrixCube作为分布式组件,以及自定义了最简单的读写请求接口。用户可以非常简单的在任意一个节点发起读写数据的请求,也可以从任意一个节点读到需要的数据。本次体验以Docker模拟一个小型MatrixKV集群的形式,来进一步体验MatrixCube的功能与运作机制。...原创 2022-07-09 16:06:21 · 266 阅读 · 1 评论 -
StarRocks的应用场景
StarRocks的应用场景StarRocks简介StarRocks是新一代极速全场景MPP数据库。StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果,在业界实践的基础上,进一步改进优化、升级架构,并增添了众多全新功能,形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验,满足企业用户的多种数据分析场景,支持多种数据模型(明细模型、聚合模型、更新模型),多种导入方式(批量和实时),支持导入多达10000列的数据,可整合和接入多种现有系统(Spa原创 2022-04-25 16:21:28 · 3883 阅读 · 2 评论 -
StarRocks Ansible 使用指南
StarRocks Ansible 使用指南StarRocks_Ansible简介 StarRocks_Ansible是基于ansible构建的StarRocks高可用集群轻量化自动运维工具,它能够在本地方便快捷的一键拉起StarRocks高可用集群,并且集群的启停、升降级、扩缩容都可以通过一条简单的命令来实现,使用户可以将注意力专注于StarRocks强大的分析能力,而不用在运维上面耗费心力。后续将会增加更多使用者关注的自动化功能。如监控、运维巡检等一系列功能。StarRocks_Ansible使原创 2022-04-18 11:34:01 · 406 阅读 · 0 评论 -
Doris Ansible 使用指南
Doris Ansible 使用指南Doris_Ansible简介 Doris_ansible是基于ansible构建的Doris高可用集群轻量化自动运维工具,它能够在本地方便快捷的一键拉起Doris高可用集群,并且集群的启停、升降级、扩缩容都可以通过一条简单的命令来实现,使用户可以将注意力专注于Doris强大的分析能力,而不用在运维上面耗费心力。后续将会增加更多使用者关注的自动化功能。如监控、运维巡检等一系列功能。Doris_Ansible使用步骤前置基础安装ansibleyum ins原创 2022-04-18 11:22:00 · 2061 阅读 · 0 评论 -
数据库内核学习总结
数据库内核原创 2022-03-16 14:35:26 · 2941 阅读 · 0 评论 -
greenplum 6.7安装文档
greenplum 6.7安装文档资源规划资源准备1.系统版本:CentOS Linux release 7.7.1908 (Core)2.greenplum:greenplum-db-6.7.0-rhel7-x86_64.rpm3.此处采用了三台机器。分别为doris01,doris02,doris034.建议每个segment资源给到8G-16G,或者根据机器核数设置(如果segment主机有两个双核处理器,则每个主机可能有两个或四个segment)。角色划分1.master:dor原创 2021-08-30 14:53:36 · 281 阅读 · 0 评论 -
DorisDB测试
DorisDB测试一、使用背景1.1 选用原因原有业务查询使用的数据库为greenplum,在数据源变更后,数据量暴增的情况下,GP已经无法满足业务查询的时效要求,因此将目光转向其他解决方案,在简单测试了DorisDB,clickhouse以及其他olap产品后,结合自身的业务特点,最终初步选用的DorisDB作为最终的MPP的解决方案。此文档也是基于DorisDB进行详细的业务测试的文档。1.2 业务介绍数据上的痛点主要在于在计算资源有限的情况下,大数据量下的导入(日增原始数据量10T)原创 2021-04-08 17:49:34 · 2335 阅读 · 0 评论