自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

原创 数据系统架构-10.数仓开发平台

大数据基于数据这个方向基本分三个:1、大数据平台 2、数据仓库 3、数据中台产品。数据仓库是一个企业数据进行数据化决策一个最重要的基石,一个高质量的数据仓库会极大的提升数据使用的效率,助力业务进行商业分析与业务决策,降低业务不确定性,从而产生业务价值。有了高质量、模型合理、结构清晰的数据仓库可以大大降低各种使用成本,在此基础上也能更好的构建出好的中台产品。

2022-09-30 19:40:00 929 1

原创 数据系统架构-9.统一查询服务one-service

至此通过该系统基本上解决了数据查询服务统一的问题,在统一的指标管理、数据集管理的体系下,保证了数据出口逻辑的一致性。并且该系统可以支持横向扩展来适应更多的查询请求。完成支持各类数据存储的数据查询服务,提供统一、稳定、便捷、安全、可扩展的数据查询出口的系统任务。

2022-09-30 19:31:18 1916

原创 数据系统架构-8.任务调度系统

在有了各种数据统计任务之后,就产生了任务调度需求,我们需要把任务管理起来统一调度,保证任务之间上下游的依赖关系,监控任务运行状态,异常情况下及时告警,尽可能自动化处理异常,调度系统高可用,使每天的数据统计任务按时执行完成。web端:负责各类任务信息的配置与维护,包括基本信息管理、依赖关系管理、输入输出管理、调度信息配置、报警信息配置等;executor:任务执行器,包括任务的解析器、执行器、yarn资源感知、任务信息管理、任务报警等模块。这个图描述了任务整体的调度流程,整体流程大致分为以下几个部分。

2022-09-30 19:25:50 1486

原创 数据系统架构-7.数据智能

基于以上理论,我们大致解决了离线的根因分析与实时数据异常告警分析。每个公司业务和资源的不同可以采用不同的分析方法,可以根据资源使用简单的方式 ,也可以使用机器学习等等相对复杂的分析办法。具体实现并不是越复杂越好,简单的方式方法也可能比较准确高效。以后可能有更多的数据智能化场景,整体都离不开降本增效,提升数据使用效率,大道至简。

2022-09-30 19:20:34 619

原创 数据系统架构-6.BI数据展示平台

我们这边采用了自研BI与开源BI系统相结合的方式,做数据的展示与分析,最大程度上保证系统的可控度,来支持一些特定功能的开发与支持。由于在使用的过程中,面向指标的指标没有实际使用起来,在后续的配置使用过程当中指标的配置就变的冗余与鸡肋,所以在第二版当中我们把一个数据表当成一个数据集,通过数据集之间的组合配置形成数据报表。做自研的BI系统,一般都是从定制化开发的报表开始的,一个报表对应一套前端后端功能,这样堆砌的功能不方便管理与后期维护,所以我们要设计一套生成配置报表展示的系统,也就是自研BI系统。

2022-09-30 19:16:06 1400

原创 数据系统架构-5.实时离线统计系统

配置一个SQL模板,描述对应的sql需要填写哪些参数,使用对应的占位符进行填充,指定对应的占位符使用哪个维度来解析,比如:是日期、品类、城市,这样可以通过下拉框来确定具体执行的sql。

2022-09-30 19:06:32 1284

原创 数据系统架构-4.指标定义系统

我们有了这样的一个系统之后,后续的数仓表、数据统计等相关功能都可以与之对接,形成统一口径标准化的数据。整体大数据相关的系统要向着系统化、工具化、配置化、SQL化的方向发展,尽可能的减少人工SQL统计与开发。不光产品、运营通过图形化的SQL完成数据分析等工作,数据开发人员也可以通过图形化SQL配置生成对应的统计逻辑。再通过各个系统之间数据的打通,我们就有着清晰的数据脉络与数据流向。指标来自于业务,沉淀于业务,应用于业务复杂的问题在数据流程越靠前的位置上处理,之后设计的各种系统就会越简单,事半功倍。

2022-09-30 19:00:48 676

原创 数据系统架构-3.数据仓库设计

数据仓库是为了让人人都可以低成本的使用数据,按照一定标准打造的全量数据资料的集合。

2022-09-30 18:56:27 708

原创 数据系统架构-2.元数据管理

通过收集与整合各个系统信息,打造数据全链路血缘关系。

2022-09-30 18:51:54 698

原创 数据系统架构-1.基础数据篇

前端日志是用户在使用App或者Web页面应用,在App或者页面上收集到的用户行为信息,比如用户A在什么时间点击了某个按钮、用户B在什么时间浏览了某个商品的详情页等等。

2022-09-29 11:42:56 1467

原创 数据之旅-开篇

首先大数据相关的技术,我分成大致分成两个方面,一个是技术架构[数据之术],一个是系统架构[数据之道]。技术架构方面,大多数公司使用的技术基本上都大同小异,都是基于各种开源大数据相关组件,搭建各种集群来支持公司各类数据的统计分析;系统架构方面,由于每个公司自身发展需要、数据重视程度、开发人员资源的不同,之间可能会有些许的差异,上图是我总结出来的系统架构,之后会优先按照系统架构设计方面入手,从数据的采集、数据的传输、数据的计算、数据的应用等等方面,开始逐步总结一下各个系统的设计。

2022-09-29 11:27:23 227

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除