指标平台建设的必要性

目录

一、BI深度使用带来的指标管理的新问题

二、新工具的新思路

三、理想的指标平台要兼顾敏捷与一致

3.1 业务爱用

3.2 开发省力

3.3 管理有效


   原文大佬介绍的这篇指标平台建设有借鉴意义,现摘抄下来用作沉淀学习。如有侵权请告知~

一、BI深度使用带来的指标管理的新问题

    随着BI解决方案的快速普及,企业内报表数量越来越多,企业经常会发现虽然BI工具呈现出强大的数据分析与展示能力,但在深度使用的过程中却暴露了出新的问题,尤其是在指标管理方面。

    首先,业务的迅速发展要求数据需求的响应速度更快。然而,传统的“数仓+BI”的模式中,依赖人工开发宽表和汇总表来加工指标,要经历漫长的口径沟通、排期、开发、测试、上线流程。每个需求开发都需要经历复杂和漫长的ETL作业流程,导致业务部门的需求响应缓慢;而且当涉及到复杂的指标,需要撰写数百上千行的SQL才能实现定义,对工程师能力要求也很高。依赖物理报表进行数据分析的模式下,分析维度受限于数据集或报表包含的维度,无法提供灵活的数据分析视角,增加字段往往又意味着漫长的数仓排期开发过程,分析不够灵活。

                                   图 1:“数仓 + BI”模式下的 ETL 工程架构

    其次,BI工具是为数据分析和展示场景而设计,本身不解决指标的统一管理问题。工程师在数仓进行建模和大量宽表与汇总表的开发,再将数据集或宽表导入BI进行分析。在这种模式下,指标通常分散在各种报表和数据集中,而不同的数据集之间同一个指标可能存在口径不一致的问题。

   每当业务需求变化时,往往需要更改不同的BI工具或数据集中的指标口径,指标口径变更维护工作量大,成本高,并带来潜在的数据结果差异,影响数据的准确性和一致性。大型企业甚至部署了多套BI工具服务不同的业务部门,这种情况下,指标的口径管理难度就更大。

                               图 2:指标定义与各种消费场景的紧耦合导致口径不一致

   再次,“数仓+BI”模式在指标问题排查方面,效率也不甚理想。由于指标定义分散且不统一,一旦数据出现问题,需要花费大量时间去不同报表和数据集中排查、对比数据,进行找到问题所在。这不仅耗费了大量的时间资源,同时也降低了业务人员对数据的信任度。同时人工变更与回刷工作还难以保障全链路的变更质量,进一步增加了数据不一致的风险。

  最后,指标缺乏统一的语义沉淀,使用范围受限。指标在数仓中开发,在BI中消费,但是企业的指标消费场景并不限于BI,比如DMP和CDP平台、商家后台、营销平台等各种应用要承接数据分析的结果,触发运营管理动作。

 综上所述,深度使用BI的同时,亟需一个能够有效解决指标统一管理、指标统一开发和指标开放服务问题的新工具,既要快速满足业务灵活分析的需求,还能够切实保障指标口径的一致性与数据的准确性。

二、新工具的新思路

   通过上述分析,发现指标口径的不一致与指标开发效率低的根源来自于“数仓+BI”模式下,指标的定义与消费的紧耦合性,导致指标口径定义分散在不同开发链路中,而人工ETL开发与变更又效率低下。那么是否可以突破这种模式,通过将指标定义与消费进行解耦,进而实现指标的统一管理并提升开发效率呢?

  答案是肯定的。设计一个全新的指标开发与管理工具,需要满足以下能力要求:

1.实现指标与报表解耦。新工具需要将指标定义与管理抽象出来,确保其报表设计分离,从而实现业务含义和计算逻辑的集中化管理。

2.统一指标定义,规范管理。新工具要能够提供一个中央位置,用于定义所有关键业务指标。这样不仅实现了指标定义的统一性,还能确保在整个组织内的不同系统和应用之间实现指标一致,避免了各个团队间的口径不统一。

3.提升指标生产效率。新工具要实现指标的自动化生产,减少对工程师资源的依赖,实现高效的指标交付。

4.支持指标的灵活使用和分析。业务用户可以自助实现任意维度灵活分析,摆脱对专业技术团队的依赖。新工具能够支持灵活且多样化的指标应用,使得业务人员可以根据各自需求,自主进行数据探索和深入分析。

5.提供开放化的服务。将指标语义沉淀在统一的语义层,并通过各种标准接口对接包含BI工具在内的各种指标消费应用,实现一处定义,处处使用。

    这样的新工具,在国外被称作“Headless BI”,我们称之为“管、研、用一体”的自动化指标平台。

      图 3:Headless BI 通过独立的指标语义层解耦指标定义与消费场景,实现口径的真正统一

三、理想的指标平台要兼顾敏捷与一致

   在数据驱动决策的背景下,理想的指标平台需要确保在迅速响应业务变化的同时,能保持数据分析的准确性和统一性。只有具备以下特性才能实现兼顾敏捷与一致的目标。

3.1 业务爱用

   理想的指标平台应该深受业务部门的青睐,使他们能够自由探索数据并作出快速决策。只有业务部门爱用,指标平台才会具有生命力,才能真正承载指标定义、生产和全生命周期管理的责任。

  首先平台必须易于使用,使得业务用户不再依赖IT开发团队即可实现任意维度的灵活分析。通过拖拽式界面和直观的用户操作流程使得定义和分析指标变得异常简单。其次平台能清晰展示业务逻辑、数据加工链路以及历史版本,帮助用户快速理解指标口径和变更记录。通过业务语义而不是技术语言让指标口径一目了然,让复杂的数据流程变得透明化。

3.2 开发省力

   理想的指标平台应该帮助开发团队减少日常繁琐的 ETL 数据处理任务,提高开发效率。其核心能力之一是要通过自动化的指标生产与加速实现“定义即开发”。不再依赖人工ETL作业,也无需通过创建复杂的宽表和汇总表来保障查询性能。

    其次,要实现“一处变更,全局生效”。平台要能保证集中定义的指标在被修改后,相关的所有报告和分析工具都能实时同步更新。这得益于指标的自动化生产与指标血缘,自动识别变更影响和自动化回刷数据。

3.3 管理有效

  理想的指标平台要支持技术团队实施有效且统一的数据管理策略,全面控制数据分析的准确性和一致性。

   定义能力是指标管理的基础,实现任意复杂度的业务指标定义(如二次聚合类指标或标签化定义指标),才能保证在整个组织内部实现指标口径的 100% 一致性。

  部分企业已经实施了指标平台,但由于只能在平台上定义基础的聚合指标,仍有大量的指标开发要通过人工实现,指标平台最终被绕过,不仅交付效率难以提升,统一管理也无法落实。

  在强大的指标定义能力基础上,新一代的指标平台同传统指标管理平台的核心差异,是将指标管理和指标开发同步实现,确保指标定义与计算逻辑不会绕过指标平台,才能真正落实管理。同时平台应具备灵活完善的细粒度权限管理和审计追踪功能以确保数据的安全性和合规性。

  当指标的定义,开发和管理被统一在同一个工具和流程中,指标语义的沉淀也就自然在指标平台同步实现了,再通过API,JDBC等标准化接口将统一口径的指标开发给下游各类应用来消费,便实现了“一处定义,处处使用”的指标复用。

  综上所述,理想的指标平台为企业提供了一个既具有高度敏捷性又能确保数据一致性的数据分析和管理环境,实现“管、研、用一体”与开放服务,提高了工作效率并支持了更加精准的商业决策。

    本篇文章通过分析传统“数仓 + BI”模式下指标管理、开发和消费面临的诸多挑战产生的原因,提出“将指标语义与消费解耦”,进而实现一致统一的指标定义与管理,并通过自动化的指标生产代替人工开发进而提高指标交付效率的新思路。在此思路上,对一款理想的指标平台进行了展望。

参考文章:

指标平台详解(上):为什么有了 BI ,还需要指标平台?

  • 24
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
工业CT算法平台建设是一个非常复杂且需要耗费大量时间和资源的过程。本文将详细介绍工业CT算法平台建设的具体细节,包括平台建设目标、硬件设备选取、软件系统开发、测试和优化、部署和维护等方面。同时,本文还将介绍工业CT算法平台建设中需要注意的一些细节和技术要点。 一、平台建设目标 平台建设目标是指明确平台的应用场景、功能需求、技术要求和性能指标等。在确定平台建设目标时,需要考虑以下几个方面: 1. 应用场景:工业CT检测的应用场景非常广泛,包括航空航天、汽车制造、机械制造、电子制造、医疗器械等领域。不同的应用场景需要不同的算法和技术支持,因此需要根据应用场景来确定平台的功能需求和技术要求。 2. 功能需求:工业CT算法平台的功能需求包括图像采集、图像处理、特征提取、特征匹配、缺陷识别、缺陷评估等模块。在确定功能需求时,需要考虑平台的应用场景和具体需求,以确保平台的功能满足用户的需求。 3. 技术要求:工业CT算法平台的技术要求包括图像处理算法、数据处理能力、并行计算能力、大数据存储能力、网络传输能力等。在确定技术要求时,需要考虑平台的应用场景和具体需求,以确保平台的性能和可靠性。 4. 性能指标:工业CT算法平台的性能指标包括图像处理速度、识别准确率、数据存储能力、网络传输速度等。在确定性能指标时,需要考虑平台的应用场景和具体需求,以确保平台的性能指标达到用户的要求。 二、硬件设备选取 硬件设备选取是指根据平台的需求,选择适合的计算设备、存储设备和网络设备,以满足平台的性能要求。在硬件设备选取时,需要考虑以下几个方面: 1. 计算设备:工业CT算法平台需要具备强大的计算能力和并行计算能力,因此需要选择适合的CPU或GPU,以确保平台的图像处理速度和识别准确率。 2. 存储设备:工业CT算法平台需要具备大数据存储能力,因此需要选择适合的硬盘或SSD,以确保平台的数据存储能力。 3. 网络设备:工业CT算法平台需要具备高速的网络传输能力,因此需要选择适合的网络设备,以确保平台的网络传输速度。 4. 其他设备:根据平台的需求,还需要选择适合的外设设备,如相机、扫描仪、打印机等,以确保平台的功能完备。 三、软件系统开发 软件系统开发是指根据平台的需求,开发相应的软件系统,包括图像采集、图像处理、特征提取、特征匹配、缺陷识别、缺陷评估等模块。在软件系统开发时,需要考虑以下几个方面: 1. 图像采集:工业CT算法平台需要具备图像采集功能,因此需要开发相应的图像采集软件,以确保平台能够获取到高质量的图像数据。 2. 图像处理:工业CT算法平台需要具备图像处理功能,以滤除噪声、增强图像等,因此需要开发相应的图像处理算法和软件模块。 3. 特征提取:工业CT算法平台需要具备特征提取功能,以从图像中提取出感兴趣的特征,如缺陷、裂纹、孔洞等,因此需要开发相应的特征提取算法和软件模块。 4. 特征匹配:工业CT算法平台需要具备特征匹配功能,以将提取出的特征与已知的缺陷库进行匹配,以确定缺陷的类型和位置,因此需要开发相应的特征匹配算法和软件模块。 5. 缺陷识别:工业CT算法平台需要具备缺陷识别功能,以根据匹配结果,对缺陷进行自动识别和分类,因此需要开发相应的缺陷识别算法和软件模块。 6. 缺陷评估:工业CT算法平台需要具备缺陷评估功能,以根据缺陷的类型、位置、大小等信息,对缺陷进行评估和判定,因此需要开发相应的缺陷评估算法和软件模块。 四、测试和优化 测试和优化是指对开发完成的软件系统进行测试和优化,以保证平台的稳定性、可靠性和性能。在测试和优化时,需要考虑以下几个方面: 1. 测试方法:工业CT算法平台需要进行功能测试、性能测试、稳定性测试等多种测试,以确保平台的功能和性能达到用户的要求。 2. 优化方法:工业CT算法平台需要进行算法优化、并行计算优化、数据存储优化、网络传输优化等多种优化,以提高平台的性能和效率。 3. 测试数据:工业CT算法平台需要使用实际的工业CT图像进行测试,以确保平台的测试结果具有代表性和准确性。 4. 测试环境:工业CT算法平台需要在真实的工业CT检测环境下进行测试,以确保平台的测试结果具有实际意义和参考价值。 五、部署和维护 部署和维护是指将开发完成的软件系统部署到硬件设备上,并进行系统维护和更新,以保证平台的长期稳定运行。在部署和维护时,需要考虑以下几个方面: 1. 部署方法:工业CT算法平台需要进行安装、配置和调试等工作,以确保平台能够顺利运行。 2. 维护方法:工业CT算法平台需要进行定期维护和更新,以确保平台的性能和安全性。 3. 系统备份:工业CT算法平台需要进行定期备份,以确保平台数据的安全性和完整性。 4. 技术支持:工业CT算法平台需要提供相关的技术支持和服务,以解决用户在使用过程中遇到的问题。 六、注意事项 在工业CT算法平台建设过程中,需要注意以下几个方面: 1. 平台的可扩展性和可重用性,以便后续的功能扩展和应用推广。 2. 平台的用户体验和易用性,以便用户能够方便地使用平台提供的功能。 3. 平台的安全性和保密性,以保护用户的隐私和商业机密。 4. 平台的标准化和规范化,以便平台能够与其他系统进行无缝对接和数据交换。 本文详细介绍了工业CT算法平台建设的具体细节,包括平台建设目标、硬件设备选取、软件系统开发、测试和优化、部署和维护等方面。在实际应用中,需要根据具体需求进行调整和优化,以确保平台的性能和可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值