数仓
文章平均质量分 84
Elivis Hu
这个作者很懒,什么都没留下…
展开
-
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
一般来说,表格更新需要反查,那会随着数据量增大,更新性能会下降,Hologres 在已经拥有 20 亿条数据表格做出更新,也能达到每秒钟 70 万条的更新性能,这种实时写入与更新的性能,是非常合适和 Flink 这种大量的更新和删除搭配使用的。在画像场景里,我们要描述一个用户的画像或者一个商品的画像,有很多个维度,例如说一个用户,他的浏览习惯是什么,他的履约习惯是什么,他的退货习惯是什么等等,可以从各种维度去看这个客户,然后我们要去给用户画一个画像,判断他到底属于哪一类用户。第三种是物化视图的方案。原创 2024-01-08 15:54:11 · 1338 阅读 · 0 评论 -
`int(1)` 和 ‘int(10)‘
int后面的数字不能表示字段的长度,int(num)一般加上zerofill,才有效果。zerofill的作用一般可以用在一些编号相关的数字中,比如学生的编号 001 002 … 999这种,如果mysql没有零填充的功能,但是你又要格式化输出等长的数字编号时,那么你只能自己处理了。如学生的编号 001 002 … 999这种,如果mysql没有零填充的功能,但是你又要格式化输出等长的数字编号时,那么你只能自己处理了。原创 2023-12-06 13:35:40 · 82 阅读 · 0 评论 -
select...for update锁表?
最后给大家总结一下select…主键字段:加行锁。唯一索引字段:加行锁。普通索引字段:加行锁。主键范围:加多个行锁。普通字段:加表锁。查询空数据:不加锁。如果事务1加了行锁,一直没有释放锁,事务2操作相同行的数据时,会一直等待直到超时。执行结果:[外链图片转存中…(img-nPTqVi59-1698198712374)]执行成功了,说明这种情况没有加锁。最后给大家总结一下select…主键字段:加行锁。唯一索引字段:加行锁。普通索引字段:加行锁。主键范围:加多个行锁。原创 2023-10-25 09:52:39 · 177 阅读 · 0 评论 -
Doris数仓的4大特点
一个查询在MPP集群中执行时,会拆成一个树状的执行树,这棵树的执行由Coordinator来协调执行,树的叶子节点也叫计划片断(PlanFragment),每一个PlanFragment分配给一个BE节点的查询执行器来执行,这就是查询执行器模块的作用。而Partition级别的缓存会智能地将SQL结果中不同分区的结果数据缓存起来,之后的查询,可以利用已缓存分区的数据加上新分区实时查询的数据得到最终的结果,从而降低重复数据的实时查询需求,减少对系统资源的消耗。**Doris还支持基于主键的数据更新。原创 2023-10-24 10:50:19 · 84 阅读 · 0 评论