关注
分享
Thoughtworks思特沃克中国
这个作者很懒，什么都没留下…
展开
-
指标计算实践
有了数据开发测试工具及DWD模型，数据开发看起来可以顺利往前推进了。下一步是数据开发真正产生业务价值的过程，即指标计算。前面的基础建设其实都是为了指标计算能高效高质量的完成。本文将尝试分享一些关于指标计算的实践经验。...原创 2022-08-29 11:09:39 · 891 阅读 · 0 评论 -
如何评估企业的数据质量
好的数据质量，经过数据分析、挖掘、机器学习等手段，可以更好地辅助业务决策、帮助企业降本增效；差的数据质量，从数据中获得的价值有限，甚至会误导做出错误的业务决策，从而给企业带来灾难性的后果。.........原创 2022-08-16 15:30:00 · 667 阅读 · 0 评论 -
基于点的数据分析
在进行数据分析时，常常会有基于数据点的分析需求。原创 2022-08-25 12:30:00 · 969 阅读 · 0 评论 -
数据集成测试支持工具
在数据测试中，ETL脚本的测试是个难题。一般而言，采用高集成度的测试方式（即运行ETL并比对结果，下文称集成测试）是更有效的做法。但是，这类测试的编写和维护却有较高的成本。如何降低ETL集成测试的成本呢？本文尝试从数据工具的角度分享一些我们的经验。......原创 2022-08-22 09:38:23 · 1051 阅读 · 0 评论 -
数据测试实践
由于数据应用开发和功能性软件系统开发存在很大的不同，在我们实践过程中，在开发人员和质量保证人员间常常有大量关于测试如何实施的讨论。本文将尝试总结一下数据应用开发的特点，并讨论在这些特点之下，对应的测试策略应该是怎么样的。......原创 2022-08-18 12:00:00 · 455 阅读 · 0 评论 -
数据开发支持工具
增强SQL固然是可以解决我们的数据开发问题，但是它也会给我们带来一些其他的不便。一般而言，开发过程支持完善与否将很大程度上决定团队开发效率的高低。下面我们一起来看看如何完善对于开发过程的支持。......原创 2022-08-15 09:52:31 · 216 阅读 · 0 评论 -
数据仓库建模自动化
在确定DWD层的构建原则之后，可以通过开发数据建模工具来辅助实现。这样的工具应该设计成什么样子呢？原创 2022-08-11 12:00:00 · 413 阅读 · 0 评论 -
数据仓库建模实践
数据仓库建模通常是指DWD层的建模，因为DWD是数据仓库中使用最广泛的数据分层，我们需要尽可能保证这一层的易用性。DWD层的模型很大程度上影响了一个数据仓库项目甚至数据平台项目的成败。本文将针对DWD层数据建模分享一下我们在项目上的实践经验。......原创 2022-08-08 09:54:18 · 2064 阅读 · 0 评论 -
Oracle数据迁移实用入门
Oracle的数据导入导出是一项基本的技能，但是对于懂数据库却不熟悉Oracle的同学可能会有一定的障碍。正好在最近的一个项目中碰到了这样一个任务，于是研究了一下Oracle的数据导入导出，在这里跟大家分享一下。......原创 2022-08-04 09:48:30 · 696 阅读 · 0 评论 -
MongoDB数据接入实践
我们的数据仓库基于Hive构建，Hive的设计可以很好的兼容关系型数据库，如果数据源是关系型数据库，数据接入会相对容易。如何从非关系型数据库中接入数据呢？这里面有没有什么经验值得分享呢？本文将就非关系型数据库接入数据平台分享一些我们实践中的一些故事和经验。......原创 2022-08-02 09:55:00 · 281 阅读 · 0 评论 -
数据平台数据接入实践
快速、高质量、稳定的将数据从业务系统接入到数据平台是至关重要的一环。前面的文章中，我们分别提到了关系型数据库的数据接入和非关系型数据库的数据接入。除了来自技术上的挑战，数据接入还会遇到哪些其他挑战呢？本文将尝试基于项目中的实践，给大家分享一下我们的思考。.........原创 2022-07-28 15:08:00 · 1449 阅读 · 0 评论 -
数据平台下的数据治理
数据治理并不是一个新的概念，但由于国内信息化起步较晚，这个话题直到最近几年才在国内各大公司中引起广泛讨论。数据治理具体是什么，我们真的需要数据治理吗？为了更清楚的了解数据治理是什么，我们先参考一下业界都是怎么说的。...原创 2022-07-25 10:23:13 · 374 阅读 · 0 评论 -
数据平台数据管理实践
。一般而言，接入到数据平台的数据会来自众多的业务系统，这样一来，我们就拥有了大量不同来源的数据。如何将这些数据有效的管理起来是一个很大的挑战。本文将尝试结合我们的项目实践经验做一些分享。...原创 2022-07-21 15:41:53 · 248 阅读 · 0 评论 -
如何选择数据应用开发语言和环境
本文讨论了在数据应用开发开始之前需要进行的工作，包括进行编程语言的选择和开发环境的构建。这两方面的相关决策将在很大程度上影响后续数据开发的组织和管理。如果决策得当，后续数据开发将能够很轻松的开展起来，否则，则可能将团队带入泥潭。本文分享了我们在实践过程中的一些思考和选择，这些经验对于我们是很受用的。......原创 2022-07-18 10:05:45 · 342 阅读 · 0 评论 -
基于HDP构建企业数据平台
本文希望借着最近在一个客户项目上的数据平台方面的探索和实践，给大家分享一下我们的一些经验。前面提到的数据平台包含了非常丰富的功能，比如分布式数据计算、安全控制、元数据原创 2022-07-14 17:53:11 · 995 阅读 · 1 评论