Doris
文章平均质量分 57
不吃鱼的cat
喜欢是不可超越的力量
展开
-
Doris之分区分桶表的insert overwrite实现(二)
Doris之分区分桶表的insert overwrite实现(二)分区表的创建和重建自动化脚本,如下############################################################################################### author### 适用范围: ①分区表刚创建,昨天分区未创建时 ②分区表的昨日分区数据需要删除,删除后再重建##################################################原创 2022-01-10 17:48:42 · 1257 阅读 · 0 评论 -
Doris之分区分桶表的insert overwrite实现(一)
Doris之分区分桶表的insert overwrite实现(一) 实时项目如果是实时,就要讲求时效性,直接选用UNIQUE KEY模型表,选定不可重复的列为unique key即可建立单分区表简单举例CREATE TABLE order_tab( orderid BIGINT, username VARCHAR(32), amount BIGINT DEFAULT '0')UNIQUE KEY(orderid,username)DISTRIB原创 2021-12-14 15:45:37 · 4553 阅读 · 0 评论 -
Doris之如何将oss的表数据导入到doris的表中并完成调度
Doris之如何将oss的表数据导入到doris的表中中并完成调度前言:写入doris的脚本可以看我之前写的写入doris分区表详解问题: 当你把oss地址配好,运行脚本成功后,去doris的目标库中执行 show load 就会发现导入失败,提示使用broker拉取文件只支持hdfs AFS BOS三种方式原因:现在很多公司为了降低成本使用oss替换hdfs存储文件,因为表的文件块在oss存储,所以需求由hdfs 到 doris 变成了oss 到doris现在想通过broker从oss上拉取表到d原创 2021-12-14 14:20:34 · 2247 阅读 · 2 评论 -
Doris 物化视图的介绍和使用
Doris 物化视图的介绍和使用物化视图是将预先计算(根据定义好的 SELECT 语句)好的数据集,存储在 Doris 中的一个特殊的表。物化视图的出现主要是为了满足用户,既能对原始明细数据的任意维度分析,也能快速的对固定维度进行分析查询。#适用场景分析需求覆盖明细数据查询以及固定维度查询两方面。查询仅涉及表中的很小一部分列或行。查询包含一些耗时处理操作,比如:时间很久的聚合操作等。查询需要匹配不同前缀索引。#优势对于那些经常重复的使用相同的子查询结果的查询性能大幅提升。Doris自动维转载 2021-12-14 11:35:06 · 2655 阅读 · 0 评论 -
hive分区表同步数据到doris分区分桶表详解
hive分区表同步数据到doris分区分桶表详解本文从Broker Load来实现数据同步一、 BrokerBroker是在doris中独立存在的,FE是负责元数据和任务调度,BE负责存储实际数据和执行任务,当BE执行数据同步任务时,会从Broker里拉取数据,直到所有BE拉取完毕,拉取数据才会完整,故而能通过Broker Load来实现数据同步二、表结构创建hive分区表 wm_app.app_usertouch_all_kpi_num_user_day表结构如下创建doris分区分桶表原创 2021-11-30 14:36:05 · 5037 阅读 · 0 评论