既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
Doris 的建表是一个同步命令,命令返回成功,即表示建表成功。
Doris 支持支持单分区和复合分区两种建表方式。
1)复合分区:既有分区也有分桶
第一级称为 Partition,即分区。用户可以指定某一维度列作为分区列(当前只支持整型
和时间类型的列),并指定每个分区的取值范围。
第二级称为 Distribution,即分桶。用户可以指定一个或多个维度列以及桶数对数据进
行 HASH 分布。
2)单分区:只做 HASH 分布,即只分桶。
3.3.2 字段类型
注:聚合模型在定义字段类型后,可以指定字段的 agg_type 聚合类型,如果不指定,
则该列为 key 列。否则,该列为 value 列, 类型包括:SUM、MAX、MIN、REPLACE。
3.3.2 建表示例
我们以一个建表操作来说明 Doris 的数据划分。
3.3.2.1 Range Partition
CREATE TABLE IF NOT EXISTS example_db.expamle_range_tbl
(
user_id
LARGEINT NOT NULL COMMENT “用户 id”,
date
DATE NOT NULL COMMENT “数据灌入日期时间”,
timestamp
DATETIME NOT NULL COMMENT “数据灌入的时间戳”,
city
VARCHAR(20) COMMENT “用户所在城市”,
age
SMALLINT COMMENT “用户年龄”,
sex
TINYINT COMMENT “用户性别”,
last_visit_date
DATETIME REPLACE DEFAULT "1970-01-01
00:00:00" COMMENT “用户最后一次访问时间”,
cost
BIGINT SUM DEFAULT “0” COMMENT “用户总消费”,
max_dwell_time
INT MAX DEFAULT “0” COMMENT “用户最大停留时间”,
min_dwell_time
INT MIN DEFAULT “99999” COMMENT “用户最小停留时间”
)
ENGINE=olap
AGGREGATE KEY(user_id
, date
, timestamp
, city
, age
, sex
)
PARTITION BY RANGE(date
)
(
PARTITION p201701
VALUES LESS THAN (“2017-02-01”),
PARTITION p201702
VALUES LESS THAN (“2017-03-01”),
PARTITION p201703
VALUES LESS THAN (“2017-04-01”)
)
DISTRIBUTED BY HASH(user_id
) BUCKETS 16
PROPERTIES
(
“replication_num” = “3”,
“storage_medium” = “SSD”,
“storage_cooldown_time” = “2018-01-01 12:00:00”
);
3.3.2.2 List Partition
CREATE TABLE IF NOT EXISTS example_db.expamle_list_tbl
(
user_id
LARGEINT NOT NULL COMMENT “用户 id”,
date
DATE NOT NULL COMMENT “数据灌入日期时间”,
timestamp
DATETIME NOT NULL COMMENT “数据灌入的时间戳”,
city
VARCHAR(20) COMMENT “用户所在城市”,
age
SMALLINT COMMENT “用户年龄”,
sex
TINYINT COMMENT “用户性别”,
last_visit_date
DATETIME REPLACE DEFAULT "1970-01-01
00:00:00" COMMENT “用户最后一次访问时间”,
cost
BIGINT SUM DEFAULT “0” COMMENT “用户总消费”,
max_dwell_time
INT MAX DEFAULT “0” COMMENT “用户最大停留时间”,
min_dwell_time
INT MIN DEFAULT “99999” COMMENT “用户最小停留时间”
)
ENGINE=olap
AGGREGATE KEY(user_id
, date
, timestamp
, city
, age
, sex
)
PARTITION BY LIST(city
)
(
PARTITION p_cn
VALUES IN (“Beijing”, “Shanghai”, “Hong Kong”),
PARTITION p_usa
VALUES IN (“New York”, “San Francisco”),
PARTITION p_jp
VALUES IN (“Tokyo”)
)
DISTRIBUTED BY HASH(user_id
) BUCKETS 16
PROPERTIES
(
“replication_num” = “3”,
“storage_medium” = “SSD”,
“storage_cooldown_time” = “2018-01-01 12:00:00”
);
后记
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
5377809308)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新