数据中台
文章平均质量分 70
数据中台
Yuan_CSDF
被大数据埋没的销售人才
展开
-
数据治理(二)
1、数据质量1.1、概述在大数据早期,做数据治理最主要的目的,就是为了提升数据质量,让报表、分析、应用更加准确。到今天,虽然数据治理的范畴扩大了很多,我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念,但是提升数据的质量,依然是数据治理最重要的目标之一。因为数据要能发挥其价值,关键在于其数据的质量的高低,高质量的数据是一切数据应用的基础。在数据质量不高的环境下,做数据分析可谓问题重重,数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理,持续地提升数据质量,已...原创 2022-04-12 22:04:30 · 710 阅读 · 1 评论 -
数据治理(一)
1、基本概念1.1、什么是数据治理由于切入视角和侧重点不同,业界给出的数据治理定义已经不下几十种,到目前为止还未形成一个统一标准的定义。数据治理(Data Governance)指的是数据从零散没有规律变为统一规划的数据、从具有很少甚至于没有组织和流程的治理到企业范围内的综合数据治理、从处理数据时的混乱状态到数据井井有条的一个过程。数据治理是一种数据管理的概念,能够确保数据的全生命周期存在高数据质量的能力,其最终目标是提升数据的价值。1.2、为...原创 2022-04-12 21:59:41 · 752 阅读 · 0 评论 -
数据中台(二)数据中台相关技术栈
1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储:HDFS,HBase,Kudu等 数据计算:MapReduce,Spark,Flink 交互式查询:Impala,Presto 在线实时分析:ClickHouse,Kylin,Doris,Druid,Kudu等 资源调度:YARN,Mesos,Kubernetes 任务调度:Oozie,Azakaban,AirFlow,DolphinScheduler等 元数据管理:atlas 数据安全管理原创 2021-06-27 22:12:41 · 1280 阅读 · 0 评论 -
数据中台(一)数据中台详解
1.数据中台的由来数据库阶段 ---> 传统数仓 ---> 大数据平台 ----> 大数据中台1.1.数据存储起源:数据库1979年:Oracle1.0商用数据库发布1996年:MySQL1.0发布,到2000年以后开始火起来。特点:数据库主要面向事务的增删改场景,一个数据库支撑多个简单单体应用,少量分析需求,借助数据库直接完成。但当数据增长较快,复杂的大量的分析需求,借助数据库做分析开始吃力。1.2....原创 2021-06-25 23:38:54 · 12043 阅读 · 3 评论