![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据驱动
DanielJyc
这个作者很懒,什么都没留下…
展开
-
数据驱动应用(五):基于时间序列数据的异常识别模型
1. 概述大型集群系统中,可能存在软件问题和硬件问题导致的系统故障,严重影响了系统的高可用性。这就要求7*24小时,对系统不间断监控。这就意味着需要不间断地监控大量时间序列数据,以便检测系统潜在的故障和异常现象。然而,实际当中的系统异常很多,且不容易发现;从而导致人工方式监控方式效率很低。异常场景本质上是一个或者多个数据点;数据点一般在系统运行过程中产生,且能反应系统的功能是否正常,多以日志形式呈现。当系统功能发生异常时,就会产生异常数据。快速高效地发现这些异常值,对于快速止损具有重要意义。对此,我们提原创 2020-07-11 20:43:01 · 2093 阅读 · 0 评论 -
数据驱动应用(四):数据决策(基于决策数)
概述决策引擎主要目标是将业务决策逻辑从系统逻辑中抽离出来,使两种逻辑可以独立于彼此而变化,这样可以明显降低两种逻辑的维护成本。下面列举三种方案,然后分析各自优缺点,从而确定本文的方案。方案一:硬编码实现方式优点:当规则较少、变动不频繁时,开发效率最高。稳定性较佳,语法级别错误不会出现,由编译系统保证。缺点:规则迭代成本高,对规则的少量改动就需要走全流程(开发、测试、部署)。当存量规则较多时,可维护性差。规则开发和维护门槛高,规则对业务分析人员不可见。业务分析人员有规则变更需求后无法自助完成开发,需要原创 2020-07-11 20:37:30 · 1544 阅读 · 0 评论 -
数据驱动应用(三):异构数据服务(基于有向无环图DAG)
概述主要概念数据服务(Data Service):对异构数据源,基于有向无环图,提供异构数据的查询和推送能力。指标:用于衡量事物发展程度的单位或方法,它还有个IT上常用的名字,也就是度量。例如:人口数、GDP、收入、用户数、利润率、留存率、覆盖率等。维度:是事物或现象的某种特征,如性别、地区、时间等都是维度。一般指查询约束条件。粒度:维度的一个组合。描述分析需要细分的程度。数据集:用来描述数据从哪里来,有哪些字段输出,提供哪些能力(过滤、分组),数据表的Join关系,粒度等等HTAP数据库:Gartn原创 2020-07-11 20:36:44 · 1041 阅读 · 0 评论 -
数据驱动应用(二):架构设计
数据驱动应用(二):架构设计整体概述在本文中,我们采用整体到部分的分析思路。首先介绍大数据系统在整个公司架构中的位置,然后具体介绍大数据系统的架构实现,再次对大数据系统中的数据驱动部分进行分析,最后对数据驱动中的各个部分依次概述。整体架构首先,我们需要确定大数据系统在一个公司整体架构中的位置。为了方便分析,我们引入云计算中的四个概念来设计整体架构,包括:IaaS、PaaS、SaaS、DaaS。不同于云计算中服务的概念,本文主要使用这4个概念对整体架构进行粗略划分。如下图,各层依次为:IaaS:意原创 2020-07-11 20:21:29 · 1501 阅读 · 0 评论 -
数据驱动应用(一):整体概述
概述随着互联网的快速发展和广泛普及,产生的数据也在呈几何倍数增长。数据成了企业至关重要的资源,企业产生、收集和分析的数据也达到了前所未有的规模。从而,进一步加速了大数据技术的快速发展。近几年,出现了各种驱动技术,包括产品驱动、技术驱动、政策驱动等,大数据也不甘寂寞,于是乎“数据驱动”一词也渐渐热了起来。那么到底什么是数据驱动呢?在讨论数据驱动前,先看几个不同领域的场景:运营场景:当你在下午五点来到商场时,口碑或者美团自动给你推送“XX火锅优惠券”,正好这就是你非常喜欢吃的火锅店,于是你毫不犹豫地原创 2020-07-11 16:36:51 · 1534 阅读 · 0 评论