云原生数据中台:让数据用起来
文章平均质量分 87
云原生数据中台:让数据用起来
四月天03
能用钱解决的问题,千万别花时间
展开
-
数据产品-数据化产品应用
DMP管理平台的理解:除数据采集和整合之后,能够实现数据的可视化分析,数据的BI看板展现,数据内容和人群的圈选,并实现分流定制策略。现在的很多DMP产品都是事后分析型,只能够提供洞察,即在事件发生之后进行数据分析洞察现状,但真正的DMP产品应该是能够实现事前分析,即基于洞察结果,整合运营管理平台,实现用户的定向分流和内容池子的分层设计,针对不同用户群体和内容池子实现定向配比和展现,实现真正前端展示的千人千面管理配置后台系统,整合整个数据链路的东西,才是一个真正的DMP系统。...原创 2022-03-04 15:56:36 · 1496 阅读 · 0 评论 -
中台实践:数据中台建设五步法
数据中台这个东西,现在业界并没有一个完整的标准定义,数据中台至少首先是一个分布式的数据仓库,同时包含相对应实施的方法论和方案,介于分布式数据仓库和企业全面数据化中间的任意一个点都可以被定义为数据中台。可以说,数据中台是实现企业全面数据化的一个解决方案,是一套支撑企业全面数据化的架构,会成为企业开展全面数据化的基础设施。(1)中台是什么?企业级能力复用平台!(2)如何构建中台?以用户为中心,从战略入手,愿景为指引,用科学有效的方法,步步为营沉淀企业级能力...原创 2022-01-27 14:30:45 · 6977 阅读 · 0 评论 -
中台实践:数字化转型方法论与解决方案
一部分 数智化转型与中台落地路径1章 数智化转型1.1 数字化和智能化浪潮21.1.1 数智化领域41.1.2 数智化思维81.2 数智化转型路径91.2.1 关键路径101.2.2 数字化营销是切入点121.3 数字中台是企业应用新基建131.3.1 什么是数字中台141.3.2 数字中台是新基建161.4 软件定义中台171.4.1 软件定义中台的组成181.4.2 软件定义中台的6大特性212章 业务和数据深度融合的中台价值2.1 整合企业数字能力262.1.1 企业数原创 2022-02-20 13:23:18 · 2232 阅读 · 0 评论 -
云原生数据中台:架构、方法论与实践
前言第一部分 数据中台与硅谷大数据平台第1章 全面了解数据中台1.1 数据中台概念的起源 31.1.1 艺电的“数据中台”改造 41.1.2 Twitter的数据驱动 61.2 什么是数据中台 81.2.1 数据中台建设的目标 81.2.2 如何实现数据中台建设的目标 111.2.3 数据中台的定义和4个特点 131.3 大数据平台与数据中台 161.3.1 为什么要建设数据中台 161.3.2 数据中台与传统大数据平台的区别 201.3.3 数据中台的评原创 2022-02-18 14:24:35 · 1999 阅读 · 0 评论 -
云原生数据中台:第7章 数据中台的架构
数据中台的功能定位数据中台的功能定位是完成公司内部数据能力的抽象、共享和复用,因此,数据中台的架构必须围绕这三个功能来设计。与传统的大数据平台不同,数据中台搭建于大数据平台及数据仓库之上,将大数据平台和数据仓库所实现的功能以通用数据能力的形式提供给企业的所有部门。因此,单从功能上来讲,大数据平台实现具体的数据能力,数据仓库是业务建模、数据治理发生的地方,而数据中台则需要把大数据平台、数据仓库的数据和接口组织起来,通过打通数据提升数据能力,通过共享提高全局使用效率。因此数据中台的架构...原创 2021-10-16 21:13:22 · 1405 阅读 · 0 评论 -
数据中台 第9章 数据服务体系建设,数据赋能
9.1.1 定义与定位数据服务是对数据进行计算逻辑的封装(过滤查询、多维分析和算法推理等计算逻辑),生成API服务,上层数据应用可以对接数据服务API,让数据快速应用到业务场景中9.1.2 主要分类按照数据与计算逻辑封装方式的不同,数据服务可分为以下三类:·基础数据服务:它面向的对象是物理表数据,主要面向的场景包括数据查询、多维分析等,通过自定义SQL的方式实现数据中台全域物理表数据的指标获取和分析。·标签画像服务:它面向的对象是标签数据,主要面向的场景包括标签圈人、画像分析等,.原创 2022-02-13 16:32:36 · 4358 阅读 · 0 评论 -
数据中台 第8章 数据资产管理
8.5 数据治理8.5.1 数据治理的6个目标从根本上说,数据治理的目标是保障数据资产的质量,促进数据资产的价值创造。这个根本目标可以分解成以下6项:·提升数据质量,帮助做出基于数据的更高效、更准确的决策; ·构建统一的、可执行的数据标准; ·良好地响应数据生产者、消费者、数据处理技术人员等数据利益相关者的需求,如保护好客户(数据生产者)的数据隐私和数据安全; ·培训组织内所有的管理层和员工,让大家采用共同的解决数据问题的办法; ·实现可重复的数据管理流程,并确保流程透明; ·实现数原创 2022-02-13 16:21:55 · 2940 阅读 · 0 评论 -
数据中台 第7章 数据体系建设:数仓分层设计、数据建模
数据中台数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系,可以方便支撑数据应用。中台数据体系应具备以下特征:·覆盖全域数据:数据集中建设,覆盖所有业务过程数据,业务在中台数据体系中总能找到需要的数据。·结构层次清晰:纵向的数据分层,横向主题域、业务过程划分,让整个层次结构清晰易理解。·数据准确一致:定义一致性指标,统一命名、统一业务含义、统一计算口径,并有专业团队负责建模,保证数据的准确一致。·性能提升:统一的规划设计,选用原创 2022-02-13 15:24:43 · 8757 阅读 · 0 评论 -
数据中台 第6章 数据开发: 批计算、流计算、在线查询和即席分析
计算能力根据场景抽象分成四大类:批计算、流计算、在线查询和即席分析。 不同场景配合不同的存储和计算框架来实现,以满足业务的复杂需求,(1)批计算主要用于批量数据的高延时处理场景,如离线数仓的加工、大规模数据的清洗和挖掘等。目前大多是利用MapReduce、Hive、Spark等计算框架进行处理,其特点是数据吞吐量大、延时高,适合人机交互少的场景。相比MapReduce,Spark在以下几方面具有优势:数据处理技术:Spark将执行模型抽象为通用的有向无环图(DAG)执行计划,这可.原创 2022-02-13 14:47:43 · 1878 阅读 · 0 评论 -
数据中台 第5章 数据汇聚联通:打破企业数据孤岛
要构建企业级的数据中台,第一步就是要让企业内部各个业务系统的数据实现互联互通,从物理上打破数据孤岛,这主要通过数据汇聚和交换的能力来实现。在面向具体场景时,可以根据数据类型将汇聚对象分为结构化和非结构化、大文件和小文件、离线与在线等几种,不同类型的数据对存储的要求不同。同时,与业务数据化的方式也有关系,有些场景需要通过线上或线下的方式来实现数据的汇聚。在数据采集和汇聚过程中,需要特别注意的一点是数据的隐私和安全,数据采集和汇聚是最容易触碰法律红线的环节, 因此在制订相应的方案时,一定要考虑当原创 2022-02-13 14:26:33 · 1802 阅读 · 0 评论 -
数据中台 第3章:数据中台建设与架构
3.1 持续让数据用起来的价值框架数据中台的使命就是持续让数据用起来,它的一个根本性创新就是把“数据资产”作为一个基础要素独立出来,让成为资产的数据作为生产资料融入业务价值创造过程,持续产生价值。数据中台作为整个企业各个业务所需数据服务的提供方,通过自身的平台能力和业务对数据的不断滋养(业务数据化),会形成一套高效可靠的数据资产体系和数据服务能力(数据资产化和资产服务化)。这样一来,当出现新的市场变化,需要构建新的前台应用时,数据中台可以迅速提供数据服务(服务业务化),从而敏捷地响应企业的创原创 2022-02-13 13:27:48 · 2394 阅读 · 0 评论 -
数据中台 第2章:什么是数据中台
数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制。 数据来自于业务,并反哺业务,不断循环迭代,实现数据可见、可用、可运营2.2 数据中台必备的4个核心能力数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力,让企业员工、客户、伙伴能够方便地应用数据。1.汇聚整合随着业务的多元化发展,企业内部往往有多个原创 2022-02-13 12:40:13 · 6445 阅读 · 0 评论