数据中台建设(从方法论到落地实战)-读书笔记2

2 认识数据中台

2.1 什么是数据中台

       数据中台是一种数据优先的大数据思维和强调数据业务化的价值理念,包含企业自上而下制定的数据战略、匹配的组织架构,以及实现数据高复用性、高可用性和高价值的有机结合体(包括一系列方法论、业务设计、模型设计、数据工具和平台),强调数据服务和数据智能,做到数据可用、赢、好用、可追溯、可复用和可管理。

  • 从技术角度看,数据中台是构建企业级数据价值实现的综合解决方案,主要包含数据采集和处理体系、数据平台、算法及服务体系、数据安全和管理体系等,以便快速、高效地响应业务需求,避免数据重复开发,节省企业成本。
  • 从流程角度看,数据中台对上是业务层,支持业务的敏捷需求。数据中台对下是基础技术设施,支撑业务数据存储和计算的需求。
  • 从应用角度看,数据中台可让企业的数据资产越来越丰富、数据使用越来越便捷、决策效率越来越高、数据的价值越来越大。

2.2 建设数据中台的价值

  • 统一的数据发展战略和清晰的数据资产规划,让数据体系化建设从诞生之初就取得全局性的战略指导和自上而下的资源支持。
  • 统一数据标准。统一元数据的标准和数据口径,让企业内部拉齐对数据指标的认知,消除歧义。
  • 统一数据模型,实现数据资产化。基于对业务的理解和抽象,制定数据分层机制,打造统一的数据仓库、数据集市模型和数据分析模型,可以促进原始数据向数据资产转变。
  • 打造系列数据工具集合,提高数据应用效率。
  • 抽象公共数据服务,打造数据即服务公共平台,实现数据价值的流程化、服务化和自动化。

2.3 数据中台的建设目标

2.3.1 总体目标

(1)数据战略目标

       要确定数据发展战略和中长期的落地规划

(2)组织建设目标和组织绩效

       建设与数据战略相匹配的组织,明确权责。

(3)人才培养目标

       培养数据中台需要的人才,明确多长时间培养多少不通层级的人才。

(4)数据基础设施建设目标

       明确数据基础设施建设的目标和规划,不如数据中台、数据仓库、数据工具、客户统一ID等的建设目标和规划。

(5)数据智能化建设目标

       了解数据分析和数据智能的现状,明确数字化和智能化的目标,洞察差距,病弥补差距。

(6)数据服务体系建设目标

       建设业务所需的数据服务体系,全面实现数据价值,支撑业务的数据化和智能化的需求。

2.3.2 数据中台的标准化

       数据中台统一的标准设计数据中台建设的全过程。从描述语和数据的抽取、清洗、汇聚、开发到数据模型设计、数据指标计算、统一ID的规则,再到数据分析、算法模型和数据应用,最后到数据管理、数据安全、数据服务等环节,都必须遵循数据中台的标准化规范。

2.3.3 数据中台业务化

       建设数据中台必须研究客户价值,尽可能给用户提供最大价值、最便捷服务体验、最敏捷的动态需求响应,要以客户为中心,构建客户统一ID、统一视图和标签体系,打造一系列与客户相关的数据智能服务,满足业务中台的动态的业务需求。

2.3.4 数据中台平台化

       数据中台的平台化目标是实现数据中台和业务中台的互联互通,通过平台化的方式构建丰富和强大的数据服务能力。

  • 数据中台可基于客户需求,连接病融合内外部各种数据能力,形成自己的服务能力,快速响应客户需求。
  • 数据中台和业务中台依托于数据和业务知识,通过共创实现“数据业务化,业务数据化”,以及数据能力的创新和迭代,以满足业务的个性化需求。
  • 通过工具化和平台化的建设,数据中台连接更多的能力,大大提高了对外服务的效率。

2.3.5 数据中台服务化

  • 通过对数据能力进行抽象,逐步实现数据能力的模块化、可配置化、自动化和智能化组合,从而支持更复杂的业务需求。
  • 数据能力的服务化,将数据能力转化为系统服务,实现服务随时随地地调用,切满足高可用性。

2.4 数据中台与上下游平台的关系

2.4.1 “前台-中台-后台”关系

       前台是作战团队,聚焦中短期目标,快速突击、快速试错,具有更高的灵活性(前台主要面向客户和合作伙伴,属于作战模块);中台提供公共的数据和科技服务,为前台业务赋能,灵活性适中(中台主要为前台提供数据、技术、智能和流程支持,属于参谋和智囊模块);后台主要职能是制定长期的战略,进行文化建设、时长研究、投资、人力支持、财务管理等(后台主要提供人、财、文化等服务,数据后勤模块)。

2.4.2 数据中台和业务中台的关系

       业务中台是对前台业务的公共需求进行抽象粹取出来的公共业务流程和公共业务服务模块的集合。数据中台是数据能力的抽象和集合,主要为业务中台、前台提供数据和智能。

       业务中台是数据中台的重要数据来源之一,为数据中台源源不断地提供业务数据,而数据中台起着“超级大脑和参谋”的支撑作用,支持业务数据分析和智能应用的需求。

       “数据业务化、业务数据化”理念的集中体现,要求业务人员和数据工作者在自身领域专业发展和精进的基础上,还需要向对方领域进行扩展。

2.5 数据中台建设的9大误区

2.5.1 数据中台等同于数据工具的集合

       建设数据中台的核心目标是为业务中台赋能,提升数据规模化应用的能力,有效地实现数据的价值,支持业务数据化和智能化的需求,快速、敏捷地响应客户的个性化需求。因此,数据工具是数据中台建设的中间产物,而非终极目标。

2.5.2 数据中台等同于数据平台

       数据平台是数据中台的一部分功能,是实现数据好用的核心功能和基础设施。

2.5.3 企业小,不需要数据中台

       数据中台的核心功能之一是通过大数据洞察客户需求,进而敏捷响应和解决客户的差异化需求。企业部分大小,部分发展阶段,之一追求以“客户为中心”的核心价值观,数据中台就能给企业带来巨大的商业价值和客户价值,让企业实现精细化运行带来的高附加值。

2.5.4 建设数据中台是互联网企业的事,传统行业用不着

       数据中台首先实现数据线上化,然后实现标准化,随后实现资产化,之后实现智能化,最后实现服务化。传统行业自身会生产很多数据,同时也需要外部数据的赋能,之一按照线上化、标准化、资产化、智能化和服务化的路径建设数据中台,就能让大数据产生价值,让业务获得数据智能。

2.5.5 建设数据中台是数据部门的工作,与其他部门关系不大

       数字化转型是企业的核心战略之一,需要企业自上而下制定数据战略,需要整个企业的支持和推动。

2.5.6 数据中台直连前台更敏捷,没必要建设业务中台

       前台主要是作战模块,灵活度较高。前台一般有多个业务模块,不同的业务板块尽管业务有差异,但一般有很多共性的需求,需要公共服务赋能。

       从企业整体资源配置和效益最大化的角度看,业务中台人员需要从流程上进行梳理,抽象和归纳,从而产生公共的业务流程和服务需求,避免重复“造轮子”,同事可产生海量可用的数据资产,这就是数据中台的核心价值。

       数据中台主要楚留香公共数据服务,涉及大量的数据规整、流程梳理、工具建设、数据模型建设、服务抽象等具体工作,整体的操作灵活度适中。

       如果数据中台直接服务于前台,那么会为了应对前台的临时需求而重复“造轮子”,留下很多垃圾数据。

2.5.7 在数据中台成型后,不需要烟囱式的临时技术团队

       为了开拓全新的业务,企业有时候需要建设一支临时的、敏捷的业务或者技术团队。数据中台为业务带来两种价值:

  • 公共模块的复用,快速支撑业务流程
  • 数据中台建设的标准化体系让新的业务有参照物,大大提升数据质量和可用性。

2.5.8 不着急建设数据中台,等业务成熟之后再说

       数据中台建设是企业的数据战略,以客户为中心和大数据思维方式的集中体现。

  • 数据中台建设越早越好,越早建设能发挥数据价值,否则大概率会重复“造轮子”,造成资源极大浪费。
  • 数据中台建设是一个不断积累的过程,早启动,早积累,早产出。
  • 数据中台建设越早,建设的复杂度越低,投入的资源越少。

2.5.9 建设数据中台可以一蹴而就

  • 建设数据中台是一项体系性工作,耗时长、花费大、用人多,需要企业自上而下推动,需要企业缪力同心,才能实现数据中台的真正价值。建设数据中台是一项复杂的工作,降低复杂度的方法有两个:一是分阶段开展,二是遵循数据中台建设的客观规律和方法论。
  • 数据中台的建设是一项长期任务,遵循螺旋式建设、优化和迭代规律,没有终点。数据中台需要不断地优化数据资产、迭代数据服务、提升平台性能,积累越丰富,覆盖面越广,对业务的赋能作用就越大,越能发挥数据的价值。

2.6 行业对数据中台的4个认识阶段

2.6.1 数据模型实现数据资产化

       构建数据模型,建立各种数据域、数据主题、数据集市和数据标签,使冰冷的源数据标准化,转换为业务相关的数据资产。

2.6.2 数据平台实现数据高可用性

       数据平台有效地支持数据高可用性和实时计算,特别是实时数据仓库、流式计算平台等数据平台的出现,大大地提升了数据资产的迭代效率和可用效率。

2.6.3 实现数据业务化和服务化

       业务和数据的融合加快了数据驱动业务流程的迭代。从数据驱动业务的角度重构业务流程和数据模型,可实现业务流程的升级。通过对公共模块进行抽象和封装,可实现数据服务化。

2.6.4 实现数据和业务智能化

       客户对企业服务的高要求主要体现在:客户对服务的响应期望越来越高;客户对服务的智慧程度要求越来越高。

       业务中台的终极目标是通过数据和算法的赋能,让所有业务服务都可以实现事前智能感知客户需求,并智能响应客户要求。

2.7 数据中台服务化发展阶段

2.7.1 实现服务手工可配置

       通过手工配置将源自数据服务组合成高阶的数据服务,以满足业务中台的更复杂场景的数据服务需求。

2.7.2 实现服务智能组合和自适应

       通过数据和算法实现原子服务的智能组合,而非人工组合。同时,还要求服务的组合具有自适应性。

2.7.3 实现服务的智慧生态

       未来整个中台相当于一个智能生态。整个智能生态具有极高的智慧,可提前感知一切变化,病通过数据和算法的赋能智能应对变化。只要业务有需求,原子服务、分子服务或更复杂的服务都可以智能生成和组合,并提高赋能业务。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 张正友标定法是一种相机标定方法,可以用于确定相机内部参数和外部参数。该方法基于相机成像原理,通过拍摄不同角度的标定板图像,利用图像中的特征点计算相机的内部参数和外部参数。该方法具有精度高、适用范围广等优点,被广泛应用于机器视觉、三维重建等领域。 该方法的具体步骤包括:选择标定板、拍摄标定板图像、提取图像特征点、计算相机内部参数和外部参数。其中,选择标定板需要考虑标定板的大小、形状、特征点数量等因素;拍摄标定板图像需要保证标定板在不同角度下都能被完整拍摄到;提取图像特征点需要使用特征点检测算法,如SIFT、SURF等;计算相机内部参数和外部参数需要使用张正友标定法的数学模型,通过最小化重投影误差来求解。 在实际应用中,张正友标定法需要注意以下几点:标定板需要保持平整,避免出现弯曲、扭曲等情况;标定板需要在不同角度下拍摄多张图像,以提高标定精度;标定板需要在光线充足、均匀的环境下进行拍摄,避免光线不足或过强导致标定精度下降。 总之,张正友标定法是一种重要的相机标定方法,掌握该方法对于机器视觉、三维重建等领域的研究具有重要意义。 ### 回答2: 张正友标定法是用于相机投影模型标定的一种方法,其原理是在一组已知物点与其图像坐标的情况下,通过求解相机内参矩阵和外参矩阵,从而得出相机的几何参数,可用于后续的相机运动估计和三维重建。 首先,需要准备一组已知的物点和其对应的图像坐标。物点最好组成一个三维坐标系,如在测量机中通过三维测量得到。接下来,通过张正友标定法求解相机的内参矩阵。内参矩阵包括了相机的焦距、像素尺寸、主点位置等参数,这些参数决定了像素坐标与实际物理坐标之间的转换关系。通过一些数学推导,可以得到内参矩阵的表达式,并且可以通过已知的物点和相应的图像坐标求解出内参矩阵。 接下来,需要求解相机的外参矩阵,即相机坐标系相对于物点坐标系的位姿关系。通过张正友标定法,可以得到物点在相机坐标系下的坐标,从而求解出相机的外参矩阵。外参矩阵包括了相机的旋转矩阵和平移向量,这些参数描述了相机在物点坐标系下的位姿。 最后,通过内参矩阵和外参矩阵,可以将相机坐标系下的物点坐标转换成像素坐标,从而可用于后续的三维重建和相机运动估计。需要注意的是,在实际应用中,因为测量误差和噪声的存在,标定误差会影响到后续的应用效果,所以需要对标定结果进行一定的误差分析和修正。 总而言之,张正友标定法是一种基于已知物点和其图像坐标的相机标定方法,通过求解相机的内参矩阵和外参矩阵,可得到相机的几何参数,进而实现三维重建和相机运动估计等应用,具有广泛的应用价值。 ### 回答3: 张正友标定法是一种常用的摄像机标定方法,它的主要思想是通过成像偏移量和焦距的测量来确定相机的内参矩阵和外参矩阵,从而实现对摄像机的校准。张正友标定法的流程主要分为以下几个步骤。 第一步,数据采集。采集一组已知尺寸的平面图案,例如棋盘格,同时记录下相机对图案的姿态(位置和姿态),姿态可以通过用相机拍摄不同姿态下的图案来得到。 第二步,提取图案角点。使用角点检测算法,例如Harris角点检测、SIFT角点检测等,从图像中提取出每个格子的四个角点。 第三步,计算图像坐标。对于每个角点,根据相机的内参矩阵和外参矩阵,可以计算出其在图像中的坐标。 第四步,标定相机内部参数。利用上一步得到的图像坐标和对应的实际坐标,使用最小二乘法等求解相机的内参矩阵。 第五步,标定相机外部参数。同样利用上一步得到的图像坐标和对应的实际坐标,使用求解PnP问题的算法可以得到相机的外参矩阵。 通过以上步骤,就可以获得相机的内参矩阵和外参矩阵,从而实现对摄像机的标定。在实际应用中,可以将标定结果用于建立相机-世界坐标系之间的转换关系,进而实现摄像机与物体的三维空间定位和跟踪等应用。 总之,张正友标定法是一种基于对摄像机成像原理的理解和应用的标定方法,是计算机视觉和机器视觉领域中常用的技术之一,也是深度学习等领域的前置步骤。掌握该方法的原理和实现技巧,对于进一步深入了解计算机视觉和机器视觉技术体系,以及开展实际应用有着重要的意义。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值