006-行业政策&案例
文章平均质量分 93
行业政策&案例
大数据_苡~
大数据领域 | 数据仓库建设 | 数据模型设计 | 实时计算 | 数据开发 | 数据中台 | 数据治理
展开
-
京东 ClickHouse 高可用实践
转载于京东 ClickHouse 高可用实践 – 过往记忆 分享嘉宾:李海波,京东OLAP机构师导读:京东OLAP采取ClickHouse为主Doris为辅的策略,有3000台服务器,每天亿次查询万亿条数据写入,广泛服务于各个应用场景,经过历次大促考验,提供了稳定的服务。本文介绍了ClickHouse在京东的高可用实践,包括选型过程、集群部署、高可用架构、问题和规划。一、应用场景和选型京东数据分析的场景非常多,在交易、流量、大屏、用户分析和算法等多场景中采用到了OLAP技术。那么在应...转载 2021-10-19 09:42:39 · 513 阅读 · 0 评论 -
Hive SQL迁移Spark SQL在网易传媒的实践
引言:把基于mapreduce的离线hiveSQL任务迁移到sparkSQL,不但能大幅缩短任务运行时间,还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL,这里做个简单的记录和分享,本文偏重于具体条件下的方案选择。转载 2021-10-19 10:01:21 · 381 阅读 · 0 评论 -
领域建模在有赞客户领域的实践
以下文章来源于有赞coder,作者有赞技术作者:Joker一、What’s DDD?从定义入手DDD全称Domain-Driven Design,即领域驱动设计,由Eric Evans于2003年提出。那既然是一种设计方法,ddd的作用对象是什么呢?这个问题光从定义是看不出来的,我们再往下看看。换一个更高的视角我们在谈论到架构设计的时候,可以简化为三个层面:系统架构、技术架构和业务架构,这三者从三个不同的视角来描述我们的系统。系统架构关注系统的架构分层,技术架构决定使用的技术栈和框架。而作为一个偏转载 2021-10-08 16:29:25 · 695 阅读 · 0 评论 -
美团外卖实时数仓建设实践
转载自美团外卖实时数仓建设实践 - 美团技术团队实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合,同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易开发、易维护且效率高的流水线,兼顾开发效率与生产成本,以较好的投入产出比满足业务的多样性需求。01 实时场景实时数据在美团外卖的场景是非常多的,主要有以下几个方面:运营层面:比如实时业务变化,实时营销效果,当日营..转载 2021-09-30 11:16:39 · 240 阅读 · 0 评论