![](https://img-blog.csdnimg.cn/direct/9563828e313d47828815c29351e8993c.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
解决方案(问题)
文章平均质量分 79
以实战为中心,主要介绍在软硬件安装、数据开发、数据治理过程中遇到的问题及企业级解决思路和方案。
王百万_
欢迎来到大数据技术人的浪漫圣地,不要让工作成为生活的全部,你也可以有诗和远方!
展开
-
【互联网金融湖仓一体建设实践】
MC 数仓对外表的计算效率虽然低于内表,但是湖到仓的数据抽取只需要执行一次,后续仓内计算效率是Hive 的5倍以上,仓内建模加工效率也是Spark的2倍左右。认证信息、HDFS 读写服务,可以读取 HMS 的 Hive 表元数据,将。1) 用户的数据湖不能满足数仓的多租户、安全隔离、Serverless、2)创建OSS和VPC中的Hadoop实例的外部服务对象,将数据。将OSS目录数据识别为表的结构,MC可以读取DLF探查的OSS元。不冗余存储DLF或HMS的元数据,不冗余存储OSS或HDFS的数。原创 2024-07-11 10:42:34 · 611 阅读 · 0 评论 -
【ROMA核心特性数据、服务、消息、设备集成及统一运维】
FDI旨在解决多种数据源的快速灵活集成能力,您可以在任意时间、任意地点、任意系统之间实现实时数据订阅和定时增量数据迁移。(1)数据集成任务的生命周期管理(2)FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。(1)灵活的数据读写支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。原创 2024-05-06 17:06:39 · 1057 阅读 · 0 评论 -
【ROMA解决方案和功能架构】
1、基于ROMA融合集成平台,实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件:数据集成(Fast Data Integration,简称FDI)、服务集成(API Connect,简称APIC)、消息集成(Message Queue Service,简称MQS)、设备集成(LINK)。原创 2024-04-23 10:33:25 · 1235 阅读 · 1 评论 -
架构设计方法(4A架构)-技术架构
技术架构将实现从传统垂直、封闭式的IT架构转变为云化的开放架构,辅以运营、运维、安全三大支柱,打造云化的IT统一技术平台,以支撑数字化转型落地。原创 2024-03-04 12:44:58 · 642 阅读 · 0 评论 -
架构设计方法(4A架构)-应用架构
1、应用服务应归集到不同的应用系统模块。应用系统模块基于业务对象进行识别,同时考虑团队因素,一般与服务全功能团队规模相匹配。2、应用服务是处理一个业务对象的业务活动的逻辑功能集合。应用服务的功能应独立且完整,应用服务应“可度量、可定价、有价值”。原创 2024-03-04 10:22:16 · 1297 阅读 · 0 评论 -
架构设计方法(4A架构)-信息架构
属性是用来描述所属业务对象的性质和特征。1、考虑技术约束和考量、应用要求、性能要求,支撑详细的数据需求和业务规则的实施,设计出的数据在IT系统中的具体存储结构。2、是面向计算机物理表示的具体实现模型,与具体的DBMS类型有关。原创 2024-03-01 13:50:29 · 858 阅读 · 0 评论 -
架构设计方法(4A架构)-业务架构
依据企业架构标准组织The Open Group的定义,企业架构描述构成企业的要素和要素之间关系,以及用于管控架构设计和演进的原则和指引。1、价值流是一组端到端的活动集合,能够为外部客户或内部用户创造一个有价值的结果。2、有别于流程,主要描述企业为他的客户创造什么价值以及如何创造价值。1、业务能力定义是业务自身拥有或者从外部获取的特定能力,以实现某一特定目的和结果。2、业务能力的输出本质上是从不同维度对TOBE业务能力的构建设计,需要参考行业趋势和领先实践。原创 2024-02-28 10:18:16 · 6337 阅读 · 0 评论