![](https://img-blog.csdnimg.cn/direct/0f84d686c13147afb9a05fc5c10903f7.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据治理
文章平均质量分 58
以实战为中心,围绕数据治理流程及思路展开介绍!
王百万_
欢迎来到大数据技术人的浪漫圣地,不要让工作成为生活的全部,你也可以有诗和远方!
展开
-
【互联网金融湖仓一体建设实践】
MC 数仓对外表的计算效率虽然低于内表,但是湖到仓的数据抽取只需要执行一次,后续仓内计算效率是Hive 的5倍以上,仓内建模加工效率也是Spark的2倍左右。认证信息、HDFS 读写服务,可以读取 HMS 的 Hive 表元数据,将。1) 用户的数据湖不能满足数仓的多租户、安全隔离、Serverless、2)创建OSS和VPC中的Hadoop实例的外部服务对象,将数据。将OSS目录数据识别为表的结构,MC可以读取DLF探查的OSS元。不冗余存储DLF或HMS的元数据,不冗余存储OSS或HDFS的数。原创 2024-07-11 10:42:34 · 611 阅读 · 0 评论 -
【Hive的架构组成】
【Hive的架构组成】原创 2024-07-11 10:23:00 · 163 阅读 · 0 评论 -
【ROMA核心特性数据、服务、消息、设备集成及统一运维】
FDI旨在解决多种数据源的快速灵活集成能力,您可以在任意时间、任意地点、任意系统之间实现实时数据订阅和定时增量数据迁移。(1)数据集成任务的生命周期管理(2)FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。(1)灵活的数据读写支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。原创 2024-05-06 17:06:39 · 1057 阅读 · 0 评论 -
数据质量-质量管理
数据治理管理原创 2024-02-26 10:03:42 · 375 阅读 · 0 评论 -
数据质量-基本概念和定义
数据治理基本概念和定义原创 2024-02-23 16:59:19 · 416 阅读 · 0 评论 -
数据治理核心方法和思路
数据资产梳理、数据建模、数据标准、数据治理、数据汇聚、数据联接、数据服务及应用。原创 2024-02-22 10:18:49 · 977 阅读 · 0 评论