Apache Doris ( palo )
航@源
这个作者很懒,什么都没留下…
展开
-
Apache Doris在京东广告的应用
Apache Doris主要负责京东的广告平台报表业务,京东的广告平台每天支撑了千万级以上的查询量,同时每天有百亿级的增量需要维护。所有的报表级查询需要毫秒级返回数据,场景主要包括报表查询、多维分析、日志分析等。京东广告平台在京东内部支持了十余个业务线,300+报表,涵盖了270个底层数据。在使用Doris前,原有的业务系统如图所示。报表系统下对接包括MySQL、Redis以及自有系统等,...原创 2020-03-06 21:00:38 · 1277 阅读 · 0 评论 -
使用MAC IDEA 单步调试 Apache Doris
最近希望实现在IDEA中单步调试fe的代码,因为这样可以直观的学习doris fe中的流程。但是因为doris fe/be的结构。导致实现起来比较困难。但是可以在本地搭建一个be的server,在idea中启动fe。就可以单步调试fe模块。1.使用Doris镜像部署be: docker run -p 9060:9060 -p 9070:9070 -p 8040:8040 -p 9050:90...原创 2020-03-06 19:46:52 · 1547 阅读 · 0 评论 -
Apache Kylin VS Apache Doris
转凯森大神的博客:https://blog.bcmeng.com/post/apache-kylin-vs-baidu-palo.html转载 2020-03-05 13:47:49 · 462 阅读 · 0 评论 -
Apache Doris 基于 Bitmap的精确去重和用户行为分析
转凯森大神的博客:https://blog.bcmeng.com/post/doris-bitmap.html转载 2020-03-05 13:46:34 · 1650 阅读 · 0 评论 -
Apache Doris使用经验
由于近期使用了Doris,发现有一些关键点新手需要注意,故列出如下Tips。1. 建表时一定要根据数据量,以及查询时间跨度合理分区,且尽量不要使用无分区模式(Create table 时如果不分区会默认生成一个分区,且无法repartition)。Doirs在查询时,会根据时间条件选择合适的分区,会减少Scan的数据量,提升查询性能。而且使用分区在数据备份,数据删除等方面均会更方便。2.如...原创 2019-04-04 16:51:22 · 7187 阅读 · 1 评论 -
Apache Doris 参数配置
因为Doris文档并没有说明很多fe和be的参数的功能,所以在这里记录下,全凭个人理解,不一定准确BE:参数 默认值 doris_max_scan_key_num 1024 doris会将可枚举的类型拆分查询,比如id=5 and date>='2019-01-01' and date<='2019-01-31'的查询,doris会将其拆分成31...原创 2019-05-14 16:29:03 · 5805 阅读 · 0 评论