![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Doris
文章平均质量分 75
TRX1024
字节内推,可私信~
展开
-
使用 Docker 开发镜像编译Doris0.12.0(采坑)
跟着Doris官网(官网:doris0.12.0)使用Docker镜像编译Doris0.12.0时遇到一些问题,记录一下~一、编译Doris1.下载Docker选择Doris版本对应的镜像版本,这里我的Doris版本是0.12.0。docker pull apachedoris/doris-dev:build-env-1.2...原创 2021-03-31 00:57:32 · 1476 阅读 · 0 评论 -
Doris将数字按照货币格式输出,整数部分每隔3位用逗号分隔,小数部分保留2位
Doris将数字按照货币格式输出,整数部分每隔3位用逗号分隔,小数部分保留2位.mysql> select money_format(17014116);+------------------------+| money_format(17014116) |+------------------------+| 17,014,116.00 |+------------------------+mysql> select money_format(1123.4原创 2020-09-21 20:16:16 · 1204 阅读 · 0 评论 -
Doris数据备份与恢复
Doris 支持将当前数据以文件的形式,通过 broker 备份到远端存储系统中,之后可以通过 恢复 命令,从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能,可以达到两个目的:数据备份:Doris 可以支持将数据定期的进行快照备份 数据迁移:Doris 可以根据数据备份的快照将数据恢复到新表或不同集群间的表一、基本原理备份(Backup)备份操作是将指定表或分区的数据,直接以 Doris 存储的文件的形式,上传到远端仓库中进行存储。Backup命令为异步操作,提交成功后需原创 2020-07-16 20:36:24 · 3137 阅读 · 2 评论 -
Doris导出指定的表或分区的数据到HDFS
目录基本原理使用实例1、将testTbl表中的所有数据导出到hdfs上2、将testTbl表中的分区p1,p2导出到hdfs上,broker使用kerberos 认证方式,同时配置 namenode HA3、将testTbl表中的所有数据导出到hdfs上,以","作为列分隔符注意事项Export是Doris提供的将数据导出的功能,可以将用户指定的表或分区的数据,以文本的格式,通过 Broker 进程导出到远端存储上,如 HDFS/BOS 等(暂不支持导出到本地)。可以使用M原创 2020-07-16 16:12:19 · 1782 阅读 · 0 评论 -
Doris 数据导入- Stream Load 通过 http 协议进行流式数据导入
Doris导入方式及链接Doris 目前支持以下4种导入方式:Hadoop Load:基于 MR 进行 ETL 的导入。(仅适用于百度内部环境) Broker Load:使用 broker 进行进行数据导入。(链接:Doris 数据导入-Broker Load) Mini Load:通过 http 协议上传文件进行批量数据导入。(链接:Doris 数据导入-Mini Load) Stream Load:通过 http 协议进行流式数据导入。(链接:)Doris 数据导入- St...原创 2020-07-10 00:29:43 · 6689 阅读 · 8 评论 -
Doris 数据导入-Mini Load 通过http进行批量数据导入
目录Doris导入方式及链接Doris 目前支持以下4种导入方式:Doris 数据导入-Mini Load 通过http进行批量数据导入数据导入样例1. 将本地文件'testData'中的数据导入到数据库'testDb'中'testTbl'的表(用户是defalut_cluster中的)2. 将本地文件'testData'中的数据导入到数据库'testDb'中'testTbl'的表(用户是test_cluster中的)。超时时间是 3600 秒3. 将本地文件'testDa.原创 2020-07-10 00:20:31 · 3029 阅读 · 2 评论 -
Doris 数据导入-Broker Load
d原创 2020-07-09 23:57:30 · 8719 阅读 · 0 评论 -
Doris 数据聚合
在 Doris 中有如下三个阶段发生:每一批次数据导入的 ETL 阶段。该阶段会在每一批次导入的数据内部进行聚合。 底层 BE 进行数据 Compaction 的阶段。该阶段,BE 会对已导入的不同批次的数据进行进一步的聚合。 数据查询阶段。在数据查询时,对于查询涉及到的数据,会进行对应的聚合。数据在不同时间,可能聚合的程度不一致。比如一批数据刚导入时,可能还未与之前已存在的数据进行聚合。但是对于用户而言,用户只能查询到聚合后的数据。即不同的聚合程度对于用户查询而言是透明的。用户需原创 2020-07-09 22:35:15 · 1026 阅读 · 0 评论 -
Doris 的建表和数据划分
基本概念Row & Column一张表包括行(Row)和列(Column)。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类:Key 和 Value。从业务角度看,Key 和 Value 可以分别对应维度列和指标列。从聚合模型的角度来说,Key 列相同的行,会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。更多:参阅Doris 数据模型。Tablet & Partition在 Doris 的存储引擎中,用户.原创 2020-07-09 21:49:03 · 10080 阅读 · 1 评论 -
Doris 创建olap、mysql、broker表
使用Mysql Client 运行HELP CREATE TABLE做的笔记。一、创建语法语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [database.]table_name (column_definition1[, column_definition2, ...]) [ENGINE = [olap|mysql|broker]] [key_desc] [parti...原创 2020-07-09 20:57:00 · 10249 阅读 · 0 评论