【直击DTCC】张粤磊：数据处理的那些事儿

2016年5月12日-14日，第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。本次会场面积达1000平方米，共设有23个专场50个展位，盛邀了130余位国内顶尖的技术专家和我们一起就“数据定义未来”展开讨论和分享。

　　

本次数据库大会由飞谷云创始人张粤磊为我们带来了《大数据治理：数据处理的那些事》的精彩演讲，在演讲中张粤磊表示：数据治理是现代企业的普遍诉求，那么传统数仓的数据处理技术是什么?在大数据时代，数据处理技术发生了哪些变化呢?

传统数据仓库的数据处理技术

张粤磊从七个方面来和我们讲述了传统数仓的数据处理技术：1.概念定义，这个部分要求我们将源数据、数据集成、特定业务等等这些部分涉及到的字段做一个统一的标准定义，除此之外，也需要对企业内部的权限管理做出划分。2.业务定义，按实际应用的业务需求实现客户对应清单、报表类型等等内容。3.逻辑定义，这一部分涉及到了业务的具体实现，主要包括数据库的选型、工具的选型等等。4.物理定义，为所选DB选择合适的网段，服务器等硬件设备。5.规则定义，这一部分很重要的一个理念就是分层治理，其中最为著名的是三层维度的治理。6.设计定义，这一部分涉及到文档设计，主要是为开发人员提供便利。7.开发实现：数据源数据通过数据处理工具进入到数据仓库，然后再前端展现出来，在数据工具的选择上，张粤磊推荐大家使用informatica。

　　

在进行传统数仓的数据处理有六个方面是大家必须要考虑的：完整性、准确性、规范性、唯一性、一致性和关联性。张粤磊认为对数据来说，没有完美的工具，任何的RDBMS，都无法涵盖大量的非结构化业务数据，所以只能选择对数据来说最合适的工具。

大数据环境下的数据处理技术

公共数据(通过各种爬虫工具获得的数据)、埋点数据(通过友盟平台或自己开发的SDK工具获得的数据)和用户及交易数据进入大数据平台的HFDS使用Hive进行数据的ETL和模型构建，之后利用Spark工具对Hive的处理逻辑进行计算引擎提升，使用Hbase或者RDBMS来保证数据查询显示的快速调用。

在这其中，对于公共数据的处理要注意以下3点：1.在接口定义中要把接口规范变更版本及内容加入到数据字段中。2.落地后的文件时间和成功标志信息同样要参与数据处理。3.在数据仓库处理和分析展示中添加数据处理的可追溯信息。行为数据的处理也有3点需要大家注意：1.埋点数据一定要符合业务数据信息流，这样才能保证数据处理的完整性和确保数据的业务可用性。2.行为数据的标识健(UID，DID)要与其它数据源统一关联健和对应时间周期，以此来确保数据的一致性和关联性。3.行为数据的元数据信息尽可能从源头以字段化方式植入数据处理的数据文件中。

传统数据仓库到大数据数据仓库

传统数仓的迁移到大数据平台主要涉及到就是数据同步和脱敏。数据处理的重点应该落在全样本数据基于业务时间的周期同步落地。基于RDBMS的敏感数据在进入大数据平台后进行必须进行脱敏处理以确保数据安全。大数据平台的迁移和构建过程中，数据基因定义一定要完整准确，数据血缘设计要清晰可溯，数据安全机制要原子化，核心指标及元数据要做到可视化和监控自动化。

关注大会官方公众号，获取更多详情！

      ↓↓↓