记一次starRocks中更新模型联合主键添加实现

最新推荐文章于 2024-05-08 15:17:33 发布
最新推荐文章于 2024-05-08 15:17:33 发布
阅读量560 收藏
点赞数
文章标签： 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crazyForI/article/details/131251557
版权

1.需求描述

在一个更新模型的表中，需要添加一个字段，并且字段需要放到联合主键中使用

2.实现方式

正式表

 

创建一个临时表，临时表符合需求

将临时表和正式表进行原子替换

 

将交换过的临时表中的数据写入到正式表中

 

删除临时表

 到这里需求已经实现，欢迎朋友们提供更有效的方式！

追梦少年渐已老
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
starrocks-spark-connector
04-14
Spark Starrocks 批量写入，完美适配spark3.12
starrocks-2.3.1.tar.gz
09-16
5. **分布式特性**：Starrocks具有强大的扩展性，可以轻松添加或减少节点，实现水平扩展，以应对数据量的增长。 6. **2.3.1版本更新**：虽然具体的2.3.1版本更新内容未在描述中提及，但通常软件的新版本会包含性能...
starRocks
qq_35572013的博客
05-20 608
starRocks单表查询tps能到600，对写和关联查询不大太友好。
StarRocks内部实时更新技术的实现方案
MDZ_1122333322的博客
06-29 1386
主键索引对内存要求比较高，比较适用两个场景，一个是数据按时间分区，数据按时间有冷热特征，比较老的数据基本上不会被更新，被更新的数据基本是最近几天的数据。很多索引要么是用 LSM 的方式做，要么用 B tree 的方式做，都是有序索引，StarRocks 中没有有序的需求，所以使用 hashmap 的方式。当获取CDC数据后，新的数据和原来的记录进行full join，检查新的数据中每条记录跟原数据中的记录是否有冲突（检查Key 值相同的记录）。对有冲突的文件，重新写一份新的、包含了更新后数据的。
StarRocks表类型之主键表
最新发布
vv5559999的博客
05-08 834
主键表使用 StarRocks 全新设计开发的存储引擎。其主要优势在于支撑实时数据更新的同时，也能保证高效的复杂即席查询性能。在实时分析业务中采用主键表，用最新的数据实时分析出结果来指导决策，使得数据分析不再受限于 T+1 数据延迟。主键表中的主键，用于唯一标识数据行。，这也是主键表渐渐代替更新表的原因之一。
StarRocks 技术内幕：实时更新与极速查询如何兼得
雾岛与鲸的博客
07-26 1684
实时数据的分析对企业数字化运营和决策已然至关重要，因此很多用户构建了实时数据分析平台。为了对业务各类“变更”进行实时分析、快速响应业务变化，实时数据更新成了实时分析的核心要求。很多用户在进行实时数据更新时，查询性能不够理想，大大降低了业务分析效率。和其他行业领先OLAP数据库不同，StarRocks设计和实现了PrimaryKey模型，让数据可以更好地实时更新，并且具备极速的查询能力。......
StarRocks 的数据模型
jinahong101的博客
09-04 771
目前，StarRocks 支持的数据模型有：明细模型（Duplicate Key）、聚合模型（Aggregate Key）、更新模型（Unique Key）和主键模型（Primary Key）。其中，更新模型和主键模型是聚合模型的特殊情形。下面将详细介绍这些模型的特点和使用场景。
StarRocks ddl语法
ths512的博客
07-05 4997
https://blog.csdn.net/ult_me/article/details/122313391
c# oracle转starRocks(doris)建表语句
07-31
在IT行业中，数据库迁移是一项常见的任务，特别是在不同的数据库系统之间，如从Oracle迁移到StarRocks（Doris的衍生版）。Oracle是一款广泛使用的商业关系型数据库管理系统，而StarRocks和Doris则属于高性能的列式...
sql server ,mysql,starrocks性能对比.docx
04-15
sql server ,mysql,starrocks
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）.doc
07-09
StarRocks 致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型（明细模型、聚合模型、更新模型），多种导入方式（批量和实时），支持导入多达 10000 列的数据，可整合和接入多种现有...
【StarRocks】StarRocks四种数据模型的使用
weixin_46429290的博客
04-04 4005
查询时，主键在聚合之前就能进行过滤，而指标列的过滤通常在多版本聚合之后，因此建议将频繁使用的过滤字段作为主键，在聚合前就能过滤数据，从而提升查询性能。建表时，不支持为指标列创建。在电商订单分析场景中，经常按照日期对订单状态进行统计分析，则可以将经常使用的过滤字段订单创建时间 create_time、订单编号 order_id 作为主键，其余列订单状态 order_state 和订单总价 total_price 作为指标列。：是否持久化主键索引，同时使用磁盘和内存存储主键索引，避免主键索引占用过大内存空间。
大数据StarRocks(七)：数据表创建(1)
2401_84185471的博客
04-12 393
建表的基本语法[key_desc]参数说明col_name：列名称注意，在一般情况下，不能直接创建以以 __op 或 __row 开头命名的列，因为此类列名被 StarRocks 保留用于特殊目的，创建这样的列可能导致未知行为。如需创建这样的列，必须将 FE 动态参数 allow_system_reserved_names 设置为 TRUE。col_type：列数据类型之前博文数据类型agg_type：聚合类型，如果不指定，则该列为 key 列。否则，该列为 value 列。
StarRocks 自增ID实现分页优化
齐天大圣数据候的博客
09-13 2830
目前StarRocks在不支持自增ID的情况下，对于明细模型的分页查询场景，由于要保证每一次分页查询出来的数据的唯一性，需要我们人为去指定order by的列，无法利用到StarRocks自身的排序键等特性，造成分页查询场景下，性能并不是很好。有没有一种替代方案能够在外部实现一种自增id，保证每个批次提交的数据都比之前批次的数据的ID大，同时，该ID具有唯一性。并且是一个友好的数据类型（数值型），用来做明细模型的第一列，利用StarRocks的排序键来为分页场景加速。
第2.2章：StarRocks表设计--数据模型
流木的博客
12-18 5856
为了全面的满足企业业务上的分析需求，StarRocks当前设计了四种数据模型：明细模型、聚合模型、更新模型、主键模型。 1明细模型 明细模型是StarRocks中最常用的数据模型，顾名思义，它会保留所有的明细数据，也就是说，在明细模型下，即便导入两条完全相同的数据，StarRocks也会将数据原封不动的保存进表，不会进行聚合的操作，也没有update的语义。 基于明细模型的特点，我们不难发现，明细模型通常用于追加式的数据写入，比较适合： 1、需要保留原始数据的业务； 2、查询维度不固定的业务；
StarRocks入门
鲸鱼
09-28 3392
目录一、数据导入1.Broker load2.Stream load3.Routine load4.Insert5.Multi load 一、数据导入 1.Broker load 2.Stream load 3.Routine load 4.Insert 5.Multi load
StarRocks 中的数据模型和索引使用
小毕超博客
05-28 4363
数据冷热特征，比如最近几天的数据才需要修改，老的冷数据很少需要修改，比如订单数据，老的订单完成后就不在更新，并且分区是按天进行分区的，那么在导入数据时历史分区的数据的主键就不会被加载，也就不会占用内存了，内存中仅会加载近几天的索引。字节，其内容为数据块中第一行数据的排序列组成的前缀，在查找前缀索引表时可以帮助确定该行数据所在逻辑数据块的起始行号。需要注意的是：由于存储引擎会为主键建立索引，导入数据时会把索引加载到内存中，所以主键模型对内存的要求更高，所以不适合主键模型的场景还是比较多的。
StarRocks 建表指南
Shockang的博客
02-05 8296
Star Rocks表中的数据分为key与value在上面例子中，三种模型都使用了（siteid, city, username) 作为表的排序键(key)。排序列的定义必须出现在建表语句中其他列的定义之前。排序列的顺序可以是(siteid, city),或者是(siteid, city, username),但不能是(city,username)或者是(siteid, city, pv)排序列的顺序是由CREATE TABLE中的顺序决定的。
starrocks主键模型、更新模型的优缺点
06-09
StarRocks是一个分布式的列式存储分析数据库，其主键模型和更新模型有以下优缺点： 主键模型优点： 1. 索引存储在内存中，查询速度快； 2. 支持多维度聚合查询，支持复杂的分析查询； 3. 支持多种数据类型，可以适应不同类型的数据存储需求。 主键模型缺点： 1. 需要额外的存储空间来存储主键索引，占用存储资源较大； 2. 对于经常变更的主键，需要进行重新排序，影响性能。 更新模型优点： 1. 支持高并发更新，可以实现快速的数据更新； 2. 支持实时数据处理，可以满足实时数据分析的需求。 更新模型缺点： 1. 更新和查询需要在不同的存储引擎中进行，增加了系统复杂度； 2. 更新操作会产生额外的日志记录，增加了存储和IO开销。 综上所述，主键模型适用于多维度的分析查询，更新模型适用于实时数据更新和查询。选择合适的模型需要根据具体的业务需求和数据特点进行综合考虑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值