IDEAL Garden

数据工程的任务调度应该以“日志驱动”作为解决方案。而日志驱动的重要部分“日志解耦”正是提高系统健壮性的利器。

本文分析了如何在测试金字塔的指导下制定数据应用的测试策略。测试金字塔可以给我们带来对质量的信心，以及测试集成度，帮助我们更深刻地理解测试金字塔背后的指导原则。

数据和智能类的项目管理内容仍然是基于传统软件项目管理所定义的范围和领域，但近年来新概念和新技术的出现给数据和智能类项目的管理带来了新的挑战，所以项目管理者在管理的思路、方法、策略上也存在不同。

好的数据质量，经过数据分析、挖掘、机器学习等手段，可以更好地辅助业务决策、帮助企业降本增效；差的数据质量，从数据中获得的价值有限，甚至会误导做出错误的业务决策，从而给企业带来灾难性的后果。.........

机器学习的目的：更精准地替代经验以及更大面积复用人工。在这个文章中，要回答什么场景下该用机器学习，同时我们也需要回答一个更为本质的问题，什么是机器学习？

本文从数据工作做什么出发，简要分析了企业如何进行数据能力建设，结合以往经验从三个方面（人才资源建设、人员组织合作、工具平台建设）分享了一些自己的认识。

原文链接：https://www.thoughtworks.com/insights/blog/data-mesh-its-not-about-tech-its-about-ownership-and-communication在数据和分析领域中，数据网格（Data Mesh）范式是取代数据湖、成为主要架构模式的强势候选者。 重要的是，数据网格引入了新的组织视角，并且它与特定技术无关。 其关键思想是将领域驱动设计（DDD）和产品思维，应用到数据和分析领域的难题中。与引入DevOps文化相比，建立数据网格文

当下我们听过很多热门的技术名词，例如：机器学习模型、推荐系统、高管驾驶舱、BI等等，在这些技术背后一个关键的角色就是：数据。这些数据通常不是单一的，原始的数据，而是需要从多个数据源获取，并经过复杂的提取、清洗、处理、加工等过程才能最终提供真正的价值。我们常说“数据是未来的石油”，其实也就是在说，数据并不是“开采”出来就可以直接提供价值的，而是要经过若干流程的“加工”和“提纯”才可以产生价值。而对于数据的加工和处理流程，我们通常将其称为数据流水线，也就是 Data Pipeline。什么是数据流水线那么

摘要数据智能是一个领域，技术架构是实施方案，我们很难从好或者不好的维度去衡量一个架构，更多会基于当前的上下文下来审视架构是否具有合理性，以及遥想一下在可见的未来是否具有合理性的视角，来看待当前架构是不是一个最佳的选择。因此没有坏的架构，只有是否是当前上下文中最合理的架构，既然有审视维度，自然就会有合理层级，今天我们尝试通过不同的层级来描述一个架构当前所处的阶段，和其具备的合理性范围。架构正确正确指的是当前存在的功能是否能够解决具体的问题，架构正确则包含有两方面的含义：当前架构是否能够实现所有需要的

数据工作中有一类非常重要的角色，那就是数据分析师。为什么这个角色这么重要呢？因为要是没有这个角色，不管一个企业中的数据管理做得有多么好都没用，都无法带来实际的价值。这些数据就像是藏在海底的石油，而数据分析师就是开采海底石油的油井设备。要想让石油用于汽车轮船，需要通过这些设备先将海底的石油抽取出来，经过加工处理，提纯。数据分析师这个角色通常做什么呢？数据分析师的日常工作当然就是做数据分析。比如要分析一个应用的客群特征，分析用户的留存率，活跃程度等等。但是，对于数据分析工作，最重要的是业务理解，对软件开

原文链接： https://martinfowler.com/articles/data-monolith-to-mesh.html作者简介：Zhamak是ThoughtWorks的首席技术顾问，专注于企业的分布式系统架构和数字平台策略。作为ThoughtWorks技术顾问委员会的成员，她为创建ThoughtWorks技术雷达做出了贡献。我工作过的许多公司，都把成为数据驱动型组织设定为它们的首要战略目标之一。我的客户深知AI赋能的益处：可以提供基于数据和超个性化（hyper-personalizatio

00. 平台的业务从平台这个概念本身来说，它提供的是支撑作用，通过整合、管理不同的基础设施、技术框架，一些通用的流程规范来形成一个通用的、易用的GUI来给用户使用。通用性是它的考量之一、也是所有平台的愿景之一：希望平台能适用于各个不同的业务线来产生价值。所以从业务上来说，作为一个平台本身是不会、也不应该有太多specific的业务功能的。当然这只是理想情况，有时候为了平台使用方的需求，也不得不加上一些业务领域特定的功能或者补丁来适应业务方，特别是平台建设初期，在没有太多业务的使用的时候。整体来看，平台自身

原文链接：https://martinfowler.com/articles/data-mesh-principles.html作者简介：Zhamak是ThoughtWorks的首席技术顾问，专注于企业的分布式系统架构和数字平台策略。作为ThoughtWorks技术顾问委员会的成员，她为创建ThoughtWorks技术雷达做出了贡献。我们渴望通过数据来增强和改善商业和生活的各个方面，这驱使我们在大规模管理数据方面进行范式转变。 尽管过去十年的技术进步已解决了数据量和数据处理计算的规模问题，但它们无

学习和分享都是存在于ThoughtWorks基因里的东西，这几年ThoughtWorks陆陆续续推出了多个版本的《读书雷达》，有的专注产品创新，有的专注软件开发，还有关注社会公益领域的内容。通过这样的方式给这些领域分享我们的学习方法和总结，也为对这些领域感兴趣的人提供一些从快速入门到进阶的指导。ThoughtWorks数据智能事业部自三年前成立以来，就致力于将ThoughtWorks在敏捷软件开发、精益数字化产品创新等工作方法与数据智能领域的成熟实践结合，为客户解决新形势下如何实现数据驱动的智能企业的问.

演进式架构支持跨多个维度的引导性增量变更。 ——《演进式架构》这是《演进式架构》这本书第一章第一节对“演进式架构”的作用做出的简洁定义，也就是说演进式架构便是持续架构，因为在架构这件事上没有最终状态，它会随着软件开发体系的不断变化而演进，我们只能将时间和变化作为维度来定义、引导架构的走向。《演进式架构》一书对于软件系统架构如何演进给出了相对明确的方向，但是对于数据领域来说，不但目前的基础设施相对落后，连数据系统构建相关的知识体系也异常匮乏，当我们尝试将业务型的软件系统（此处特指事务形的业务系统）架构中的