lovelysweeter的博客

大数据基于数据这个方向基本分三个：1、大数据平台 2、数据仓库 3、数据中台产品。数据仓库是一个企业数据进行数据化决策一个最重要的基石，一个高质量的数据仓库会极大的提升数据使用的效率，助力业务进行商业分析与业务决策，降低业务不确定性，从而产生业务价值。有了高质量、模型合理、结构清晰的数据仓库可以大大降低各种使用成本，在此基础上也能更好的构建出好的中台产品。

至此通过该系统基本上解决了数据查询服务统一的问题，在统一的指标管理、数据集管理的体系下，保证了数据出口逻辑的一致性。并且该系统可以支持横向扩展来适应更多的查询请求。完成支持各类数据存储的数据查询服务，提供统一、稳定、便捷、安全、可扩展的数据查询出口的系统任务。

在有了各种数据统计任务之后，就产生了任务调度需求，我们需要把任务管理起来统一调度，保证任务之间上下游的依赖关系，监控任务运行状态，异常情况下及时告警，尽可能自动化处理异常，调度系统高可用，使每天的数据统计任务按时执行完成。web端：负责各类任务信息的配置与维护，包括基本信息管理、依赖关系管理、输入输出管理、调度信息配置、报警信息配置等；executor：任务执行器，包括任务的解析器、执行器、yarn资源感知、任务信息管理、任务报警等模块。这个图描述了任务整体的调度流程，整体流程大致分为以下几个部分。

基于以上理论，我们大致解决了离线的根因分析与实时数据异常告警分析。每个公司业务和资源的不同可以采用不同的分析方法，可以根据资源使用简单的方式 ，也可以使用机器学习等等相对复杂的分析办法。具体实现并不是越复杂越好，简单的方式方法也可能比较准确高效。以后可能有更多的数据智能化场景，整体都离不开降本增效，提升数据使用效率，大道至简。

我们这边采用了自研BI与开源BI系统相结合的方式，做数据的展示与分析，最大程度上保证系统的可控度，来支持一些特定功能的开发与支持。由于在使用的过程中，面向指标的指标没有实际使用起来，在后续的配置使用过程当中指标的配置就变的冗余与鸡肋，所以在第二版当中我们把一个数据表当成一个数据集，通过数据集之间的组合配置形成数据报表。做自研的BI系统，一般都是从定制化开发的报表开始的，一个报表对应一套前端后端功能，这样堆砌的功能不方便管理与后期维护，所以我们要设计一套生成配置报表展示的系统，也就是自研BI系统。

配置一个SQL模板，描述对应的sql需要填写哪些参数，使用对应的占位符进行填充，指定对应的占位符使用哪个维度来解析，比如：是日期、品类、城市，这样可以通过下拉框来确定具体执行的sql。

我们有了这样的一个系统之后，后续的数仓表、数据统计等相关功能都可以与之对接，形成统一口径标准化的数据。整体大数据相关的系统要向着系统化、工具化、配置化、SQL化的方向发展，尽可能的减少人工SQL统计与开发。不光产品、运营通过图形化的SQL完成数据分析等工作，数据开发人员也可以通过图形化SQL配置生成对应的统计逻辑。再通过各个系统之间数据的打通，我们就有着清晰的数据脉络与数据流向。指标来自于业务，沉淀于业务，应用于业务复杂的问题在数据流程越靠前的位置上处理，之后设计的各种系统就会越简单，事半功倍。

数据仓库是为了让人人都可以低成本的使用数据，按照一定标准打造的全量数据资料的集合。

通过收集与整合各个系统信息，打造数据全链路血缘关系。

前端日志是用户在使用App或者Web页面应用，在App或者页面上收集到的用户行为信息,比如用户A在什么时间点击了某个按钮、用户B在什么时间浏览了某个商品的详情页等等。

首先大数据相关的技术，我分成大致分成两个方面，一个是技术架构[数据之术]，一个是系统架构[数据之道]。技术架构方面，大多数公司使用的技术基本上都大同小异，都是基于各种开源大数据相关组件，搭建各种集群来支持公司各类数据的统计分析；系统架构方面，由于每个公司自身发展需要、数据重视程度、开发人员资源的不同，之间可能会有些许的差异，上图是我总结出来的系统架构，之后会优先按照系统架构设计方面入手，从数据的采集、数据的传输、数据的计算、数据的应用等等方面，开始逐步总结一下各个系统的设计。