数据血缘
文章平均质量分 72
张永清-老清
从事功能测试、自动化测试、性能测试、Java软件开发、大数据开发、架构师等工作十多年,在自动化测试设计、性能测试设计、性能诊断、性能调优、分布式架构设计等方面积累了多年经验。参与过的系统涉及公安、互联网、移动互联网、大数据、人工智能等领域。先后任职于江苏飞搏软件、苏宁大数据研发中心、苏宁研究院、苏宁人工智能研发中心、紫金普惠研发中心、福特汽车工程研究有限公司,历任测试经理、技术经理、部门经理、高级架构师等职位。重点关注大数据、图像处理、高性能分布式架构设计等领域。著有图书《软件性能测试、分析与调优实践之路》《数据资产管理核心技术与应用》、《RobotFramework 自动化测试框架核》等书。
展开
-
《数据资产管理核心技术与应用》首次大型赠书活动圆满结束
数据资产管理核心技术与应用》为读者提供一套可以落地的数据资产管理框架,并详解两个基于该框架进行数据资产管理的应用案例,使读者能更好地了解数据资产管理底层所涉及的众多核心技术,让数据可以发挥出更大的价值。《数据资产管理核心技术与应用》适合数据资产管理者、数据资产管理初学者、数据应用开发工程师、数据分析师、数据库管理员、架构师、产品经理、技术经理作为技术参考书,也适合高等院校或高职高专数据资产管理相关课程的教学参考书。第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。原创 2024-09-14 09:47:37 · 269 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第三章:数据血缘
Hive 自身的血缘在其源码中主要通过org.apache.hadoop.hive.ql.hooks.LineageLogger.java 来输出,org.apache.hadoop.hive.ql.hooks.LineageLogger.java代码中主要处理的过程如下图所示,血缘主要通过edges(DAG图的流向)和vertices(DAG图的节点)来进行输出。在使用某张表的数据时,也能追溯到该表的原始数据表以及经过了哪些中间表的处理,数据的链路变得非常清晰,对数据的使用者来说,产生了极大的帮助。原创 2024-08-12 15:58:35 · 916 阅读 · 0 评论