![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据中台
文章平均质量分 72
数据中台实战过程的笔记
码农丁丁
码农知识的搬运工,作为工作20年的码农,分享自己实践或看到的知识
展开
-
什么是TOGAF
TOGAF是由国际开放标准组织于1995年开发的,以美国国防部的“信息管理技术架构框架(TAFIM)”和凯捷的Integrated Architecture Framework(IAF)。开放组体系结构框架(英语:The Open Group Architecture Framework,缩写:TOGAF)是一个企业架构框架,它提供了一种设计,规划,实施和管理企业信息技术架构的方法。它提供了一套完整的方法和工具,包括架构开发方法(ADM)和一系列的技术参考模型。TOGAF 强调架构的可复用性和一致性。原创 2024-07-30 13:00:59 · 290 阅读 · 0 评论 -
【华为数据之道学习笔记】10-3 摆脱传统手段的数据管理方式
数据质量话题,在前面已经有专门章节论述,这里不再赘述。举个例子,初步完成数据的架构工作并构建了企业级的数据湖之后,我们就可以基于多维数据特征的可视化分析技术,对数据质量进行内容级分析,采用特征工程方法,建立数据内容的多维模型,在高维空间进行多维度聚类,利用可视化投影技术在二维平面进行渲染展示。相信在不久的将来,我们会看到越来越多的智能数据分析算法应用于企业内部的数据管理和治理任务中,让我们数据工作者从繁重的数据处理分析中解管理的本质问题,既能下沉到数据里触摸到落地的细节,又能上升到整个全景把握好宏观趋势。原创 2024-01-05 00:30:00 · 541 阅读 · 0 评论 -
【华为数据之道学习笔记】10-2 大规模数据交互的企业数据生态
相对于数字原生企业来说,非数字原生企业更需要通过数字化转型来实现变革,共同构建以数据为中心的商业生态系统。平台化的数据生态系统为商业模式创新带来了更多机遇,在生态系统中,众多企业围绕共同的客户价值主张,通过竞争与合作方式发展各项能力。相比之前,生态伙伴的作用及彼此之间的数据流正在发生根本性的变化。生态系统是数据经济中的一种多边组织形式,它与其中的个体及整个共同体均是互利双赢的关系。原创 2024-01-05 00:15:00 · 886 阅读 · 0 评论 -
【华为数据之道学习笔记】10-1数据被列为生产要素:制度层面的肯定
数字化转型不能一蹴而就,数据治理也不是一朝一夕之功。数字化转型带来机遇的同时,也给整个企业的数据治理带来了新的挑战。基于对华为公司数字化转型的解读,我们建立了数据综合治理体系,发布了信息架构,构建了数据湖、数据底座,打造了数据感知、安全合规能力,提升了数据质量。但是,在数据成为新的生产要素,数据成为企业核心竞争力的情况下,未来已来,面对这样一个新的、复杂的内外部环境,非数字原生企业在数据治理的问题上,做了哪些思考?我们应当如何应对?数字化变革改变了人们看待数据的方式。原创 2024-01-04 00:30:00 · 512 阅读 · 0 评论 -
【华为数据之道学习笔记】9-4“静”“动”结合的数据保护与授权管理
在数字时代这个大风暴中,数据的安全隐私管理无异于风暴之眼,纷乱的外部因素与企业自身特定的安全威胁正在共同影响着整体安全隐私态势,既要求企业可以减轻安全威胁,避免内外安全隐私风险带来的信誉损失和经济损失,又要求企业最大化利用数据、共享数据,面向大数据和机器学习,达成业务目标,发挥数据价值。同时平台调用了传统IT安全措施,通过态势感知、堡垒机、日志服务等,结合数据安全治理方法与传统的IT安全手段,做好数据的内外合规,形成完整的数据安全与隐私保护,实现让数据使用更安全这一目标。数据授权包含两个场景。原创 2024-01-04 00:15:00 · 828 阅读 · 0 评论 -
【华为数据之道学习笔记】9-3构建以元数据为基础的安全隐私保护框架
在数字时代,随着数据资产的膨胀,数据风险标识工作量非常巨大,字段的数量是数据表数量的100倍有余,依靠人工的方式无法识别全面,需要通过工具,基于规则(正则表达式)以及AI机器学习的方式,构建自动推荐、识别风险标识的能力。在数字时代,数据的安全隐私也得到了越来越多企业的重视,这其中也包括非数字原生企业,因为这类企业手中的生产工艺和研发数据中往往包含大量的专利成果和机密配方,而识别数据资产、管理元数据、标识安全隐私,只是“安全合规”共享数据的第一步。元数据就是描述数据的数据,即数据的上下文。原创 2024-01-03 00:30:00 · 1347 阅读 · 0 评论 -
【华为数据之道学习笔记】9-2数字化转型下的数据安全共享
数据是不能藏起来的,数据存储起来就是为了消费,为了创造价值,支撑业务的决策、运营、经营、现场作业。大量的共享对安全提出了更高的要求,必须在安全、合规的基础上,才能共享数据。华为最近几年推进数字化转型,并梳理全部数据资产,明确了数据分类、数据标准、数据分布、元数据注册、访问方式、使用频率等。数据进底座、生成“数据地图”“数据随需共享”,成了华为数据治理的主要目标,让数据充分共享并为业务带来价值则是数据治理的主题。充分认识到数据安全、隐私保护的价值后,我们还需要知道具体怎么解决数据的安全隐私问题。原创 2024-01-03 00:15:00 · 507 阅读 · 0 评论 -
【华为数据之道学习笔记】9-1内外部安全形势,驱动数据安全治理发展
在企业进行数据治理,开展数据底座建设工作之前,用户经常面临的一个问题:使用数据做分析洞察的时候找不到数据,数据分散,或数据获取困难。为了消除数据“孤岛”,我们构建了公司统一的数据底座,汇聚、联接大量的企业数据。但是,大量的数据汇集在一个湖中,如何在内外部合规的基础上,确保业务能够迅速获得所需数据,可控共享。这是企业在数字化转型过程中面临的共同问题,数据资产作为企业的核心战略资产,作为生产要素,锁在独立硬盘中是发挥不了价值的,那么,如何让数据在安全合规的前提下最大程度地发挥价值?原创 2024-01-02 01:00:00 · 470 阅读 · 0 评论 -
【华为数据之道学习笔记】8-6 质量改进
数据质量改进致力于增强满足数据质量要求的能力。数据质量改进消除系统性的问题,对现有的质量水平在控制的基础上加以提高,使质量达到一个新水平、新高度。原创 2024-01-02 00:15:00 · 470 阅读 · 0 评论 -
【华为数据之道学习笔记】8-5设计和执行质量度量
执行质量度量主要是从数据质量六性(一致性、完整性、及时性、唯一性、有效性、准确性)评估数据内容的清洁度,涉及三个要素:客户关注重要性、法律财务风险性、业务流程战略性。业务领域也可根据阶段性的管理重点和诉求调整评估的要素。原创 2024-01-01 00:30:00 · 1062 阅读 · 0 评论 -
【华为数据之道学习笔记】8-4 数据质量度量运作机制
2)各领域数据Owner:承接公司数据Owner设定的数据质量目标;对数据质量度量结果负责,依据要求向公司数据Owner述职。1)公司数据管理部:根据公司数据管理工作规划,制定数据质量目标;组织数据质量度量工作开展,发布公司数据质量度量报告;2)各领域数据管理部:基于公司数据质量度量工作要求,拟定数据质量标准并设计指标,执行数据质量度量;1)公司数据Owner:下达数据质量目标,并签发数据质量度量报告;3)度量方法:从“设计”及“执行”两个方面开展,通过“设计”明确架构及标准,通过“执行”反映其质量结果。原创 2024-01-01 00:15:00 · 500 阅读 · 0 评论 -
【华为数据之道学习笔记】8-3异常数据监控
目前华为数据质量监控平台已实现质量规则的可配置、数字化、快速部署、自动监控识别异常数据等能力,并可随时间推移,制定周期性监控计划,监视数据质量的进展情况,并通过虚拟化的方式快速、灵活发布监控结果。在着手设计数据质量规则前,需对数据进行快速数据剖析,目的是分析数据源的内容、质量和结构,同时发现和分析数据源中的所有数据不规范问题和使数据项目处于危险中的隐藏数据问题。数据质量控制从明确业务需求开始,根据业务规划和数据相关方的需求,阶段性确定数据质量控制范围。数据剖析可以更好地识别需要监控数据的质量要素。原创 2023-12-31 00:30:00 · 397 阅读 · 0 评论 -
【华为数据之道学习笔记】8-2 数据质量规则
当我们发现某个数据格的数据异常时,往往会思考这一列其他的数据格是否也存在同样的问题,是否应该对这一列的其他数据格进行检查。因此数据质量规则一般以业务属性(即数据列)为对象,数据质量规则类型为颗粒度整体数据质量状况,又可清晰定位异常数据、识别严重问题、制定解决方案,同时数据质量规则也不会因互相交织而过于庞大,方便后续的运营维护。在整个数据质量监控的过程中,数据质量规则的好坏直接影响监控的效果,因此如何设计数据质量规则很重要。依据数据在数据库落地时的质量特性及数据质量规则类型,设计如下四类数据质量分类框架。原创 2023-12-31 00:15:00 · 845 阅读 · 0 评论 -
【华为数据之道学习笔记】8-1 基于PDCA的数据质量管理框架
企业数据质量管理是一个系统性的工程,华为数据质量从数据质量领导力、数据质量持续改进、数据质量能力保障三方面展开,有机结合形成联动。提升数据质量是为了满足业务应用,业务战略变化会产生新数据,对数据应用提出更高的要求,使得数据质量管理范围、目标发生变化,因此数据质量管理是动态、持续的循环过程。数据质量政策应该有不同的层次,数据质量的管控要兼顾宏观方面的指导原则以及微观层面的具体操作要求,引导正确的业务行为,提升企业成员的数据质量意识。华为数据质量指“数据满足应用的可信程度”,从以下六个维度对数据质量进行描述。原创 2023-12-30 00:45:00 · 870 阅读 · 0 评论 -
【华为数据之道学习笔记】7-5通过感知能力推进企业业务数字化
每个数字孪生实际上只是对象的最有业务价值的一个或几个方面的数字模型,我们只需利用适当的技术满足特定的业务目标,优化回报,分阶段利用感知获取的数据创造价值,同时最大限度地降低成本,逐步完成全量的数据感知能力,打造“孪生”的数字世界。华为数据治理下的感知能力对接了数据供应链(Data SupplyChain),数据从感知采集到最终的分析消费,都纳入公司级的信息架构,作为数据资产来进行管理,如图所示。感知方式元数据:对数据感知的方法进行登记注册的过程,在后续的数据消费的过程中可以知道数据来源。原创 2023-12-30 00:15:00 · 1801 阅读 · 0 评论 -
【华为数据之道学习笔记】7-4 基于数字世界的“软感知”能力
用户的部门、职位、所在地等信息,自动生成用户画像和数据画像,确定细分用户范围,界定相同认知背景和业务场景的用户,提供可识别的分类资产用于搜索,界定数据资产分类,面向不同用户界定不同的资产范围,减少匹配差异和搜索引擎复杂度,训练搜索引擎和推荐算法,提供最优数据推荐结果和排序位置。代码埋点是目前比较主流的埋点方式,业务人员根据自己的统计需求选择需要埋点的区域及埋点方式,形成详细的埋点方案,由技术人员手工将这些统计代码添加在想要获取数据的统计点上。操作日志,指系统用户使用系统过程中的一系列的操作记录。原创 2023-12-29 00:30:00 · 396 阅读 · 0 评论 -
【华为数据之道学习笔记】7-3基于物理世界的“硬感知”能力
站点主要在高层或者在野外环境中,勘测和日常维护难度都比较大,通过360度全景拍照和OCR,构建站点物理对象完整的围栏尺寸、塔高、机房尺寸、设备尺寸、天线挂高、走线距离、天线的方位角、下倾角、扇区等数字镜像,实现在 数字化站点勘测规划,现实站点直接施工,避免在现场反复勘测、设计调整。传感器是一种检测装置,能感受到被检测的信息,并能将检测到的信息按一定规律变换成信号或其他所需形式的信息输出,以满足信息的采集、传输、处理、存储、显示、记录等要求。自动采集技术仍在发展中,不同的应用领域所使用的具体技术手段也不同。原创 2023-12-29 00:15:00 · 937 阅读 · 0 评论 -
【华为数据之道学习笔记】7-2 数据感知能力架构
数据感知可分为“硬感知”和“软感知”,面向不同场景。“硬感知”主要利用设备或装置进行数据的收集,收集对象为物理世界中的物理实体,或者是以物理实体为载体的信息、事件、流程等。而“软感知”使用软件或者各种技术进行数据收集,收集的对象存在于数字世界,通常不依赖物理设备进行收集。原创 2023-12-28 00:30:00 · 718 阅读 · 0 评论 -
【华为数据之道学习笔记】7-1数据感知能力的需求起源:数字孪生
数据感知能力的需求起源:数字孪生原创 2023-12-28 00:15:00 · 397 阅读 · 0 评论 -
【华为数据之道学习笔记】6-10华为数据驱动数字化运营的历程和经验
1. 华为数字化运营的不同阶段数字化运营本身是一种实践,每个企业数字化运营的道路都不相同,华为公司通过数据赋能业务运营是从2016年开始的,中间经历了不同阶段,也走过一些弯路。原创 2023-12-27 00:30:00 · 119 阅读 · 0 评论 -
【华为数据之道学习笔记】6-9数据消费典型场景实践
数据消费典型场景实践:经营管理实践和风险管理实践原创 2023-12-27 00:15:00 · 94 阅读 · 0 评论 -
【华为数据之道学习笔记】6-8数据赋能业务运营
业务运营的本质是围绕业务战略“RUN”流程。运营过程中业务沿着流程周而复始地运转,在作业过程中识别并解决问题,应基于PDCA循环(戴明环)进行有质量的运营。原创 2023-12-26 00:30:00 · 192 阅读 · 0 评论 -
【华为数据之道学习笔记】6-7打造业务自助分析的关键能力
华为公司将自助分析作为一种公共能力,在企业层面进行了统一构建。一方面,面向不同的消费用户提供了差异性的能力和工具支撑;另一方面,引入了“租户”概念,不同类型的用户可以在一定范围内分析数据、共享数据结果。原创 2023-12-26 00:15:00 · 308 阅读 · 0 评论 -
【华为数据之道学习笔记】6-6从“保姆”模式到“服务+自助”模式
过去,各业务部门的分析诉求往往通过公司总部“保姆式”开发模式来满足,即业务部门只负责提出需求,所有的方案从设计到开发实现,统一由总部完成。而业务运营是按需开展的,往往是从问题出发,在业务开展过程中,可能出现的问题、风险是经常变化的,很可能任何一个内外部因素的变化就会带来新的业务运营关注点,而总部开发模式不可能实时满足所有区域的要求。俗话说“高手在民间”,各业务部门是业务作业的责任主体,同时也对业务及经营结果负责,因此各业务部门是业务运营的第一责任人,同时也是最了解业务自身现状与问题的。这一模式有如下价值。原创 2023-12-25 16:15:48 · 245 阅读 · 0 评论 -
【华为数据之道学习笔记】6-5数据地图的核心价值
消费用户无法直接读懂物理层数据,无法确认数据是否能满足需求,只能寻求IT人员支持,经过大量转换和人工校验,才最终确认可消费的数据,而熟悉物理层结构的IT人员,并不是数据的最终消费者。“找得到”“读得懂”的需求而设计的,基于元数据应用,以数据搜索为核心,通过可视化方式,综合反映有关数据的来源、数量、质量、分布、标准、流向、关联关系,让用户高效率地找到数据,读懂数据,支撑数据消费。数据治理工作、提供了大量的数据,但数据消费者却仍然不满意,他们始终认为在使用数据之前存在两个重大困难。原创 2023-12-22 21:01:53 · 335 阅读 · 0 评论 -
【华为数据之道学习笔记】6-4 打造数据供应的“三个1”
终数据消费体验的能力体系以及确保数据供应能力的管理机制,还包括组织职责的明确、流程规范的制定与落实、IT平台的建设和管理,如图所示。因此,数据服务应该拉动数据供应链条的各个节点,以方便用户能准确地获取数据为重要目标。中,会进行明确的承诺,并在公司层面进行公示,请所有数据需求方共同对供应能力进行监督。“三个1”是数据供应的整体目标,起点是需求方提出数据需求,数据供应的“三个1”并不是单纯的度量指标,而是一整套瞄准最。链条上的不同节点时,提供服务的周期是有差异的。度量、评价数据底座运营的效率和效益的具体指标。原创 2023-12-22 11:25:06 · 218 阅读 · 0 评论 -
【华为数据之道学习笔记】6-3数据服务分类与建设规范
数据服务是为了更好地满足用户的数据消费需求而产生的,因此数据消费方的差异是数据服务分类的最关键因素。具体包括两大类:数据集服务和数据API服务。原创 2023-12-21 00:30:00 · 310 阅读 · 0 评论 -
【华为数据之道学习笔记】6-2数据服务生命周期管理
完整的数据服务生命周期包括服务识别与定义、服务设计与实现、服务运营三个主要阶段。服务识别与定义:业务与数据握手,识别服务的业务价值、准入条件与服务类型,减少数据服务的重复建设,提升数据服务的重用度。服务设计与实现:业务、数据、IT三方协同,使设计、开发、测试与部署快速迭代以实现服务的敏捷交付,缩短数据服务的建设周期。服务运营:通过统一数据服务中心及服务运营机制,保障服务SLA与持续优化。原创 2023-12-21 00:15:00 · 636 阅读 · 0 评论 -
【华为数据之道学习笔记】6-1什么是数据服务
参考IEEE规范,华为公司给出了数据服务的定义。数据服务是基于数据分发、发布的框架,将数据作为一种服务产品来提供,以满足客户的实时数据需求,它能复用并符合企业和工业标准,兼顾数据共享和安全。数据服务和传统集成方式有很大区别,数据的使用方(不仅仅是IT系统人员,也可以是具体业务人员)不再需要点对点地寻找数据来源,再点对点地进行数据集成,从而形成错综复杂的集成关系,而是通过公共数据服务按需获取各类数据。原创 2023-12-20 00:30:00 · 215 阅读 · 0 评论 -
【华为数据之道学习笔记】5-11 算法模型设计
算法是指训练、学习模型的具体计算方法,也就是如何求解全局最优解,并使得这个过程高效且准确,其本质上是求数学问题的最优化解,即算法是利用样本数据生成模型的方法。算法模型是根据业务需求,运用数学方法对数据进行建模,得到业务最优解,主要用于业务智能分析。算法模型在数据分析流程中产生,算法模型管理框架包括建模、模型资产管理和模型消费。公司各领域已相继开发出大量基于算法模型的分析应用,通过对算法模型资产注册逐步打造公司级的算法模型地图。算法模型的设计步骤主要有需求评估、数据准备、方案设计和建模与验证。原创 2023-12-20 00:15:00 · 247 阅读 · 0 评论 -
【华为数据之道学习笔记】5-10标签设计
规则标签是对数据加工处理后的标签,是属性与度量结合的统计结果,如货物是否是超重货物,产品是否是热销产品等,标签是通过属性结合一些判断规则生成的,是相对。标签由标签和标签值组成,打在目标对象上。实体的评估和预测,如消费者的换机消费潜力是旺盛、普通还是低等,标签是通过属性结合算法生成的,是主观和动态的。表,将标签归属到该“用户”下,这里的“用户”是泛指,可以是具体的人,也可以是一个组织、一个部门、一个项目等。部件是采购件还是非采购件,一名员工是男性还是女性等,标签来源于实体的属性,是客观和静态的;原创 2023-12-19 06:15:00 · 214 阅读 · 0 评论 -
【华为数据之道学习笔记】5-9图模型设计
务连续性为例,因为不可抗力的影响,部分区域的供应商工厂无法正常生产和发货,涉及的信息包括供应商的信息、产能、元器件及内部物料、合同和客户信息,要求能够根据用户输入的当前物料储备和合同状态,获取影响内部物料、产品、合同交付和客户的清单和范围。以构建多完善的关系,这个关系的构建是一个逐步完善的过程,基于业务场景不断补充和完善关系,这就是图模型的优势。当形成一个足够完善的企业级图模型后,领域分段的业务场景应用只需要裁剪部分节点和关系,就可以满足业务的需求,达到快速响应业务需求、降低。图模型由节点和边组成。原创 2023-12-19 06:00:00 · 359 阅读 · 0 评论 -
【华为数据之道学习笔记】5-8多维模型设计
声明粒度是维度和事实表设计的重要步骤,声明粒度意味着精确定义事实表的每一行表示什么。针对监控PO履行这个场景,在做设计时首先要确认是监控PO的履行,还是具体到每个PO行的履行,不同的粒度会对应不同的事实表。如业务负责人(PO)履行全流程可视,首先需要识别监控的具体业务环节(如发货、开票等),再根据这些业务环节识别其对应的逻辑数据实体及关联关系。的事实,比如在设计“订单下单”这个业务过程的事实表时,不应该存在“支付金额”这个支付业务过程的事实。事实属性是可以对该颗粒度的事实进行定量的属性,大多数的事。原创 2023-12-18 22:50:12 · 350 阅读 · 0 评论 -
【为数据之道学习笔记】5-7五类数据主题联接的应用场景
由于数据湖中的数据零散且数据结构都与源系统一致,严格遵从三范式,即使每个数据都有详细的定义和解释,用户也很难知道数据之间的关联关系。报表分析,还要支持用户的自助分析、实时分析,通过数据的关联,支持业务的关联影响分析以及对目标对象做特征识别,进行特定业务范围圈定、差异化管理与决策等。这些分析需求也不再是对单一数据的分析,往往需要对跨领域的数据进行联接后再进行综合分析。例如,预测未来18个月的销售量,需要数据科学家根据数据湖中的历史订单、发货等数据通过决策树和基因算法进行数据建模,支持业务决策。原创 2023-12-18 22:42:55 · 260 阅读 · 0 评论 -
【华为数据之道学习笔记】5-6非结构化数据入湖
相较于结构化数据,非结构化数据更难以标准化和理解,因而非结构化数据的管理不仅包括文件本身,而且包括对文件的描述属性,也就是非结构化的元数据信息。非结构化数据入湖包括基本特征元数据入湖、文件解析内容入湖、文件关系入湖和原始文件入湖4种方式,其中基本特征元数据入湖是必选内容,后面三项内容可以根据分析诉求选择性入湖和延后入湖。入湖的过程中,原始文件仍存储在源系统,数据湖中仅存储文件的关系等内容增强元数据。入湖的过程中,数据内容仍存储在源系统,数据湖中仅存储非结构化数据的基本特征元数据。已经获取了基本特征元数据。原创 2023-12-17 00:30:00 · 293 阅读 · 0 评论 -
【华为数据之道学习笔记】5-5结构化数据入湖
数据有源是数据入湖的基本前提,数据源准备度检查不仅需要源系统的IT团队提供源系统的数据字典和数据模型并检查源系统的物理表规范度,而且需要数据代表评估源系统的数据质量。对于需求驱动入湖场景而言,由数据消费方的业务代表提出入湖需求,并提供数据需求的业务元数据和技术元数据的信息,包括业务对象、逻辑实体、业务属性对应界面的截图。发布数据标准:入湖数据应有数据标准,数据标准定义了数据属性的业务含义、业务规则等,是正确理解和使用数据的重要依据,也是业务元数据的重要组成部分。第二,响应数据消费方的需求。原创 2023-12-17 00:15:00 · 313 阅读 · 0 评论 -
【华为数据之道学习笔记】5-4 数据入湖方式
在数据虚拟化的基础上,通过共享数据访问层,分离数据源和数据湖,减少数据源变更带来的影响,同时支持数据实时消费。虚拟入湖是指原始数据不在数据湖中进行物理存储,而是通过建立对应虚拟表的集成方式实现入湖,实时性强,一般面向小数据量应用,大批量的数据操作可能会影响源系统。数据入湖的方式主要有物理入湖和虚拟入湖两种,根据数据消费的场景和需求,一个逻辑实体可以有不同的入湖方式。两种入湖方式相互协同,共同满足数据联接和用户数据消费的需求,数据管家有责任根据消费场景的不同,提供相应方式的入湖数据。原创 2023-12-16 14:49:54 · 1149 阅读 · 0 评论 -
【华为数据之道学习笔记】5-3数据入湖标准
不同密级的数据有相应的数据消费要求,为了促进公司数据的消费,数据湖中的数据有相应的降密机制,到降密期或满足降密条件的数据应及时降密,并刷新密级信息。通过联接业务元数据和技术元数据的关系,能够支撑数据消费人员通过业务语义快速地搜索到数据湖中的数据,降低数据湖中数据消费的门槛,能让更多的业务分析人员理解和消费数据。管理的责任人,负责对入湖的数据定义数据标准和密级,承接数据消费中的数据质量问题,并制定数据管理工作路标,持续提升数据质量。数据质量是数据消费结果的保证,数据入湖不需要对数据进行清。原创 2023-12-16 14:47:23 · 712 阅读 · 0 评论 -
【华为数据之道学习笔记】5-2华为数据湖的特点
化的原始数据的逻辑汇聚。数据入湖要遵从6项入湖标准,基于6项标准保证入湖的质量,同时面向不同的消费场景提供两种入湖方式,满足数据消费的要求。经过近两年的数据湖建设,目前已经完成1.2万个逻辑数据实体、28万个业务属性的入湖,同时数据入湖在华为公司也形成了标准的流程规范,每个数据资产都要入湖成为数据工作的重要标准。构化数据、业务交易和内部管理的非结构化的文本数据、公司内部园区各种传感器检测到的设备运行数据,以及外部的媒体数据等。洗、加工等处理,保留数据最原始特征,为数据的加工和消费提供丰富的可能。原创 2023-12-15 00:30:00 · 101 阅读 · 0 评论 -
【华为数据之道学习笔记】5-1支撑非数字原生企业数字化转型的数据底座建设框架
华为通过建设数据底座,将公司内外部的数据汇聚在一起,对数据进行重新组织和联接,让数据有清晰的定义和统一的结构,并在尊重数据安全与隐私的前提下,让数据更易获取,最终打破数据孤岛和垄断。通过数据底座,主要可以实现如下目标。1)。2)。3)。4)。原创 2023-12-15 00:15:00 · 359 阅读 · 0 评论