- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink 消费 Kafka 数据实时落Apache doris数据仓库（KFD）
实现 Flink 消费 Kafka 数据实时落Apache doris数据仓库（KFD）1.概述Apache Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apac
2021-08-31 09:24:58
1637
2
原创 两年来参与开源的感受
从事大数据开发也十年多了，之前也改过Hadoop，HBase，Hive，presto的源码，但是也只是自己在实际工作中遇到问题，修改Bug，没有去社区提PR，也没有去提Issues等，包括最开始使用Hadoop 0.20的时候，那个时候NameNode是没有HA的，自己通过NFS（共享文件系统）和Zookeeper实现NameNode HA，代码也都是自己使用，对外保密，遇到问题也就是通过google搜索找解决方案，找不到的自己去研究源码想办法修改。从去年开始接触Apache doris（源百度Palo
2021-08-19 22:38:53
292
原创 Apache doris架构及组件介绍
1.概述Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！什么是 MPP?MPP ( Massively Parallel Processing )，即大规模并行处理，在数据库非共享
2021-08-17 14:55:49
1560
原创 自己写的一个BI可视化系统（支持Apache Doris）
介绍这是一个可自由拖拽的BI可视化系统后端框架使用了若依去年疫情期间没事随手写的一个，如果你觉得好，别忘了加个星，谢谢这个完全支持Apache doris功能按项目管理数据看板 看板具备分享功能 可以自由拖拽实现数据看板 自由拖拽实现图表开发 提供数据报表开发工具 提供sql开发控制台 数据下钻（按维度下钻） 数据源管理 元数据管理 用户管理目录结构：mobile ：手机端，手机端只是查看，不具备设计功能ui：pc端doc：这里是数据库脚本
2021-08-11 15:12:33
1235
1
原创 Apache doris 使用过程中常见问题汇总
这是从社区很多人在使用过程中遇到的问题进行的总结，汇总发布出来方便大家查阅1.tablet writer write failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215这个错误通常发生在数据导入操作中。新版错误码为 -235，老版本错误码可能是 -215。这个错误的含义是，对应tablet的数据版本超过了最大限制（默认500），后续写入将被拒绝。比如问题中这个错误，即表示 27306172 这个tablet的数据版本超过了限制。
2021-08-10 17:39:15
8662
2
原创 Apache Doris物化视图介绍
该文章是基于Doris核心开发工程师缪翎在2020年7月线上meetup的PPT整理1.Doris概述首先 Doris 一个MPP架构的，分析型的数据库产品。对于PB数量级的，结构化数据，可以做到亚秒级查询响应。使用上兼容 MySQL 协议，语法是标准的 SQL。本身不依赖任何其他系统，相比hadoop生态产品更易于运维。应用场景包括：固定历史报表xxx用户的原始数据，比如日志，或者在事务数据库中的数据，经过流式系统或离线处理后，导入到Doris中，供上层的报表工具或者数据分析师查询使用。
2021-08-09 10:21:19
1133
原创 Apache doris FE元数据运维
名词解释FE：Frontend，即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。 BE：Backend，即 Doris 的后端节点。主要负责数据存储与管理、查询计划执行等工作。 bdbje：Oracle Berkeley DB Java Edition。在 Doris 中，我们使用 bdbje 完成元数据操作日志的持久化、FE 高可用等功能。整体架构如上图，Doris 的整体架构分为两层。多个 FE 组成第一层，提供 FE 的横向扩展和高可
2021-08-06 16:14:29
1137
原创 Apache doris ODBC外表使用方式
1.概述ODBC External Table Of Doris 提供了Doris通过数据库访问的标准接口(ODBC)来访问外部表，外部表省去了繁琐的数据导入工作，让Doris可以具有了访问各式数据库的能力，并借助Doris本身的OLAP的能力来解决外部表的数据分析问题：支持各种数据源接入Doris 支持Doris与各种数据源中的表联合查询，进行更加复杂的分析操作 通过insert into将Doris执行的查询结果写入外部的数据源本文主要介绍Doris ODBC的安装使用方式这里以最常用
2021-08-06 16:12:17
1228
12
原创 Apache doris Stream load用法
Stream Load介绍Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream load 主要适用于导入本地文件，或通过程序导入数据流中的数据具体的原理可以参照官网，这里只介绍怎么通过Java程序通过Stream load导入文件及数据流中的数据。Stream Load参数说明Stream load 由于使
2021-08-02 09:03:43
862
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人