全网:架构师研究会

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，Amazon Simple Storage Service，关系数据库或各种组合根据一份名为“什么是数据湖”的白皮书，为什么它变得流行？Data Lake允许多点采集和多个数据访问点。Pentaho公司的创始人詹姆斯·迪克森（James Dixon）在2010年创造了“数据湖”（Data ...

MongoDB和CouchDB都是基于文档的NoSQL数据库类型。文档数据库又称mdocument store，通常用于存储半结构化数据的文档格式及其详细描述。它允许创建和更新程序，而不需要引用主模式。移动应用程序中的内容管理和数据处理是可以应用文档存储的两个字段。MongoDB的概述MongoDB是10gen的初创公司，它起源于2007年。它来自于文档存储家族，是典型的NoSQL数据库之一，无模...

我们生活在一个以数字内容为主的时代。现代企业必须定期处理、解释和重新配置的数据量非常庞大。为了处理大量涌入的信息，许多企业正在转向商业智能工具，例如诊断、描述性、预测性和规范性分析。本文将深入探讨它们之间的差异，并解释每种方法何时有用，以及如何为您的业务选择正确的分析解决方案。分析目标随着移动设备和物联网 (IoT) 越来越流行，数据量正在迅速增加——我们每天产生大约 2.5 万亿字节，而且这个数...

逐步从单一数据湖转移到分散的 21 世纪数据网格。（另请查看后续文章：三种数据网格）Left: data lakes with central access, on the right: user accessing data from teams domain teams providing a great data product. (all images by the author)21 世...

Image Courtesy ofRonan FurutaonUnsplash.询问数据行业的任何人这些天最热门的是什么，“数据网格”很有可能会上升到列表的顶部。但是什么是数据网格，为什么要构建一个？求知者想知道。在自助式商业智能时代，几乎每家公司都认为自己是一家数据优先的公司，但并不是每家公司都以应有的民主化和可扩展性水平来对待他们的数据架构。例如，贵公司将数据视为创新的驱动力。你的老板是...

最佳备份策略因每个组织的需求而异。本主题将介绍备份方法的主要类型（完整、增量和差异）以及它们的优缺点，以帮助您选择最适合您和您的业务的方法。例如，小型企业可能会选择每天备份所有内容，但大型企业可能会选择增量或差异备份策略。完全备份完整备份是制作所有文件和文件夹的完整副本。这是所有执行方法中最耗时的备份，如果在网络上进行备份，可能会给您的网络带来压力。但它也是最快的恢复方式，因为您需要的所有文件都包...

The modern data warehouse architecture creates problems across many layers. Image courtesy of Chad Sanderson.数据仓库是现代数据堆栈的基础，所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时，它引起了我们的注意。当然，Cha...

您的公司想要构建数据网格。伟大的！怎么办？这是一个快速入门指南，可帮助您入门 - 并防止您的数据基础设施变成热网格。自 2010 年代初以来，微服务架构已被广泛的公司采用（想想：Uber、Netflix 和 Airbnb 等）作为当前的软件范例，引发了工程团队关于面向领域设计的利弊的讨论.现在，在 2021 年，您将很难找到一位数据工程师，他的团队正在讨论是否要从单体架构...

数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。数据架构定义根据 The Open Group Architecture Framework (TOGAF)，数据架构描述了组织的逻辑和物理数据资产和数据管理资源的结构。它是企业架构的一个分支，包括管理组织中数据的收集、存储、排列、集成和使用的模型、策略、规则和标准。组织的数据架构是数据架构师的职权...

D&A 领导者应该了解数据编织架构的关键支柱，以实现机器支持的数据集成。在日益多样化、分布式和复杂的环境中，数据管理敏捷性已成为组织的任务关键优先事项。为了减少人为错误和总体成本，数据和分析 (D&A) 领导者需要超越传统的数据管理实践，转向现代解决方案，例如支持人工智能的数据集成“被称为“数据编织”的新兴设计概念可以成为应对一直存在的数据管理挑战的强大解...

本文探讨了 Data Fabric 的内容、原因、方式和人员，包括 Data Fabric 架构、挑战、优势、核心功能、供应商等。Data Fabric——以数据为中心的企业的“必备”在过去几年中，“Data Fabric”一词已成为企业数据集成和管理的代名词。分析公司 Gartner 将“数据编织”列为“2021 年十大数据和分析技术趋势”之一，并预测到 2024 年，...

数据类图的主要目的是描述企业内关键数据实体(或类)之间的关系。开发此图是为了清楚地表示这些关系，并帮助理解企业的底层数据模型。此图处于高层次的表示(概念性的)。在这里，我们感兴趣的是建模主要的业务实体、它们的属性和关系。持久性模型(通常用于RDB)稍后将在应用程序层进行推断。所定义的TOGAF类图处于早期的概念阶段。最高级允许表示企业的基本业务概念，而不受每个组织特有的组...

概念数据模型和逻辑数据模型的主要区别在于，概念数据模型表示实体及其关系，而逻辑数据模型除了提供实体和关系之外，还提供了更多的细节，包括属性、主键和外键。通常，数据建模是创建可用数据的数据模型的过程。数据模型表示数据对象和数据对象之间的关联。总的来说，这个过程有助于可视化地表示数据和获取业务洞察力。数据模型有多种类型，其中两种是概念数据模型和逻辑数据模型。覆盖的关键领域什么...

数据流图(DFD)提供了系统内信息流(即数据流)的可视化表示。通过绘制数据流程图，您可以了解由参与系统流程的人员提供并交付给他们的信息、完成流程所需的信息以及需要存储和访问的信息。本文以一个订餐系统为例，对数据流图(DFD)进行了描述和说明。食品订购系统示例上下文上下文关系图是只显示顶层的数据流关系图，也称为0级。在这个层次上，只有一个可见的流程节点，它代表了一个完整系统...