文章目录
第五章 数据汇聚联通:打破企业数据孤岛
要构建企业级的数据中台,第一步就是让企业内部各个业务系统的数据实现互联互通,从物料上打破数据孤岛,这主要通过数据汇聚和交换的能力来实现。
在面向具体场景时,可以根据数据类型将汇聚对象分为结构化和非结构化、大文件和小文件、离线与在线等几种,不同类型的数据对存储的要求不同。同时,与业务数据化的方式也有关系,有写场景需要通过线上或线下的方式来实现数据的支撑。
在数据采集和汇聚过程中,需要特别注意的一点是数据的隐私和安全,数据采集和汇聚是最容易触碰感到法律红线的环节,因此在指定响应的方案时,一定需要考虑当地安全法规要求,避免侵犯用户个人隐私,导致用户信息安全受损。
5.1 数据采集、汇聚的方法和工具
1 线上行为采集
- 客户端埋点
- 全埋点
- 可视化埋点
- 代码埋点
- 服务端埋点
- 服务器中的access_log
2 线下行为采集
线下行为数据主要通过一些硬件采集,如常见的Wi-Fi探针、摄像头、传感器等。