[26]Big Data
hjw199089
从事大数据
(1)查询引擎开发-presto深度开发-hive开发-自研查询引擎开发
(2)大数据用户行为分析
(3)spark、sparkstreaming、storm、druid开发应用经验
(4)数据仓库开发
展开
-
Qubole Quark
Doc:Quick-start-guidegit: https://github.com/qubole/quark参考引文[1]https://finance.yahoo.com/news/qubole-open-sources-quark-sql-130000472.html[2]https://adtmag.com/articles/2016/04/06/sql-big-dat...转载 2018-10-28 16:53:16 · 280 阅读 · 0 评论 -
Discardable Memory and Materialized Queries
From:https://hortonworks.com/blog/dmmq/ What to do with all that memory in a Hadoop cluster? The question is frequently heard. Should we load all of our data into memory to process it? Unfortunate...转载 2018-10-28 00:29:02 · 421 阅读 · 0 评论 -
基于物化视图的聚合查询加速
参考Designing and Using Views To Improve Performance of Aggregate QueriesOptimizing queries with materialized viewsMaterialized view selection for multidimensional datasetsRewriting aggregate queri...原创 2018-11-15 20:09:45 · 774 阅读 · 1 评论 -
基于物化视图和多引擎下推的异构数据查询引擎
基于物化视图和多引擎下推的异构数据查询引擎功能点支持基于物化视图的查询加速(实现原理参考:基于物化视图的聚合查询加速)支持物化视图的推荐构建(实现原理参考:基于物化视图的聚合查询加速)支持多引擎下推(基于query cost判定决策,判决当次查询由引擎自身计算还是下推到其他引擎插件)(对标:Musqle)架构图待补充模块实现待补充...原创 2018-11-15 20:31:13 · 661 阅读 · 0 评论 -
Lambda architecture and Kappa architecture.
Lambda architecture and kappa architecture.FromMastering Azure Analytics by Zoiner Tejada 阅读笔记Lambda ArchitectureLambda architecture was originally proposed by the creator of Apache Storm, Nathan ...翻译 2018-12-02 14:39:12 · 694 阅读 · 0 评论 -
一篇文章掌握Sql-On-Hadoop核心技术
转载自:一篇文章掌握Sql-On-Hadoop核心技术1. SQL On Hadoop 分类1.1 查询延时分类在众多的 SQL On Hadoop 系统中,有必要对其进行一个分类。一般而言,用户更关心的是查询时延,根据用户提交查询到结果返回的时间长短,将 SQL 查询分为如下三类:batch SQL,interactive SQL,operation SQL, 如图 1。 ...转载 2019-01-19 07:12:41 · 518 阅读 · 0 评论 -
查询优化
查询优化一、join Optimizer1.1 基于CBO(Cost-Based Optimizer)的join优化cost-based-optimizer-in-apache-spark-2-2presto-join-enumerationjoin 优化二、Hash aggregationHash aggregation参考PostgreSQL技术内幕数据库查询优化...原创 2019-01-16 23:13:26 · 144 阅读 · 0 评论 -
Query Router(pseudo pushdown)on kylin
apache_kylin_cube_queriesapache_kylin_data_source_sdk转载 2019-03-06 10:27:55 · 157 阅读 · 0 评论 -
同环比与MTD/QTD/YTD月季年累计在查询引擎中的实现
一、实现环比/同比计算(1)利用窗函数实现同比环比计算计算每月的销量情况的场景中,我们可以窗口函数Lag计算获得上个月的销量数据:LAG(value, offset, DEFAULT) OVER ()这个函数的功能就是返回与当前行向前偏移n行的目标行的数值,如LAG(sum(price), 1) OVER () 即可以获得前一行的销量数据。而月环比的计算公式为 (当月销量-上月销量)/...转载 2019-04-30 16:38:36 · 9505 阅读 · 0 评论