DNB(挪威最大的金融服务集团)的13种最佳大数据挖掘分析工程实践

DNB是挪威最大的金融服务集团，在整个地区被誉为最值得信赖的金融机构。在本来文中，DNB数据工程实践中心团队–客户洞察部门运营负责人Saleem Pothiwala，软件工程师Jones Mabea Agwata和数据工程师Bikram Rout分享了他们利用数据的力量进行数字转换的最佳实践。

1、背景

在DNB，一般都会致力于实施数据工程最佳实践，以可靠的方式提供干净，可用和准时的数据。我们将其视为客户洞察力和数据分析计划成功的主要标准。我们使用数据来生成报告，见解，大屏，其他下游系统的提要，并提供数据以获取机器学习分析。

可以将数据工程领域视为BI和数据仓库的保护伞。

DNB客户关系运营Saleem Pothiwala

2、方案

在DNB，我们使用 StreamSets 作为“数据处理器”工具。数据处理器将根据工作负载而增长和收缩，并使用数据收集器和转换器为我们提供最佳的EtL和ELT功能。当然在集群中也少不了使用Control Hub编排一切。

在设计和构建数据管道时，数据工程师有责任考虑广泛的依赖关系和要求。

这是我们的高级架构图：