2021年07月_hf200012

原创 Flink doris connector 整合Flink mysql CDC 实现实时数据入库

通过flink cdc实现mysql binlog日志数据的消费，然后通过flink doris connector sql实时导入mysql数据到doris表数据中 org.apache.doris.demo.flink.FlinkConnectorMysqlCDCDemo注意:由于Flink doris connector jar包不在Maven中央仓库中，需要单独编译并添加到你项目的classpath中。参考Flink doris connector的编译和使用:Flink doris..

2021-07-31 14:18:37 1725 3

原创 Apache doris索引机制介绍

索引用于帮助快速过滤或查找数据。目前 Doris主要支持两类索引：内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括Bloom Filter索引和Bitmap倒排索引。其中ZoneMap索引是在列存格式上，对每一列自动维护的索引信息，包括Min/Max，Null值个数等等。这中索引对用户透明，不在此介绍。以下主要介绍其他三类索引。前缀索引原理本质上，Doris的数据存储在类似 SSTable（Sorted String Table）的数据结构中。该结构是一种有序的

2021-07-31 11:03:29 1413

原创 Apache doris物化视图

物化视图物化视图是将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 doris中的一个特殊的表。物化视图的出现主要是为了满足用户，既能对原始明细数据的任意维度分析，也能快速的对固定维度进行分析查询。目前doris物化视图只支持单表，不支持多表join操作适用场景分析需求覆盖明细数据查询以及固定维度查询两方面。查询仅涉及表中的很小一部分列或行。查询包含一些耗时处理操作，比如：时间很久的聚合操作等。查询需要匹配不同前缀索引。优势对于那些经常重复的使用相同的子

2021-07-31 10:59:46 797 1

转载一个人可能走得更快，但一群人会走得更远[Doris 社区的访谈]

「社区人物志」是 Apache Doris 社区推出的系列专栏，我们关注每一个对 Doris 做出过贡献的 Contributor ，会定期从对 Doris 做出突出贡献的小伙伴中选出一位「社区之星」，并会对「社区之星」进行专访，希望 TA 与 Doris 的故事可以被大家听见，也希望有更多的小伙伴参与到社区建设中来。本期我们采访了蜀海供应链大数据团队负责人张家锋，来听听一个纯粹的技术人的开源经历与技术思考。01关于自己Q：请先简单介绍一下自己过往的技术经历？大家好我是张家锋，目前在海...

2021-07-31 10:52:40 657

原创 Doris数据更新及删除

1.数据更新Doris中存储的数据都是以追加（Append）的方式进入系统，这意味着所有已写入的数据是不可变更的。所以 Doris采用标记的方式来实现数据更新的目的。即在一批更新数据中，将之前的数据标记为删除，并写入新的数据。在读取过程中，Doris会自动处理这些标记数据（Merge-on-Read），保证用户读取到的是最新的数据。同时，Doris后台的数据合并（Compaction）线程也会不断的对数据进行合并，消除标记数据，以减少在读取过程中需要进行的合并操作，加速查询。大部分对数据修改

2021-07-31 10:49:08 16546 7

原创 Doris安装部署

此文档是笔记方式，没有详细整理，仅供参考,目前社区版本是0.14.0，百度预编译发布版本是0.14.12.4doris安装部署及各种load方式安装部署1.下载Doris的安装包cd /optwget https://dist.apache.org/repos/dist/dev/incubator/doris/0.12.0-rc03/apache-doris-0.12.0-incubating-src.tar.gz解压安装tar -zxvf apache-doris-0.12.0-i

2021-07-31 10:45:46 1992

原创 doris 各种数据导入及数据备份恢复使用方式

doris mini load1.创建表（这里采用DUPLICATE模型，也可以用其他模型） CREATE TABLE `t_pro_dish_list_detail_test` ( `order_time` date, `shop_id` varchar(32) , `id` varchar(32) , `table_bill_id` varchar(36) , `shop_name` varchar(100) , `dish_type` int, `d

2021-07-31 10:44:24 4847 5

原创使用supervisor实现Doris进程自动拉起

supervisor安装1.使用yum命令安装(推荐) yum install epel-release yum install -y supervisor systemctl enable supervisord # 开机自启动 systemctl start supervisord # 启动supervisord服务 systemctl status supervisord # 查看supervisord服务状态 ps -ef|grep supervisord # 查看是否存在supe

2021-07-31 10:43:17 1158

锋哥聊DORIS数仓