数据中台-让数据用起来-5

本文详细介绍了构建企业数据中台时如何打破数据孤岛,重点讨论了数据采集、汇聚的方法和工具,包括线上行为采集、线下行为采集、互联网数据采集和内部数据汇聚。此外,还讲解了数据交换产品的数据源管理和实时、离线数据交换的实现。数据存储的选择考虑了数据规模、生产方式和应用方式等因素,涉及在线与离线、OLTP与OLAP的对比,以及分布式存储技术的应用。
摘要由CSDN通过智能技术生成

第五章 数据汇聚联通:打破企业数据孤岛

  要构建企业级的数据中台,第一步就是让企业内部各个业务系统的数据实现互联互通,从物料上打破数据孤岛,这主要通过数据汇聚和交换的能力来实现。
  在面向具体场景时,可以根据数据类型将汇聚对象分为结构化和非结构化、大文件和小文件、离线与在线等几种,不同类型的数据对存储的要求不同。同时,与业务数据化的方式也有关系,有写场景需要通过线上或线下的方式来实现数据的支撑。
  在数据采集和汇聚过程中,需要特别注意的一点是数据的隐私和安全,数据采集和汇聚是最容易触碰感到法律红线的环节,因此在指定响应的方案时,一定需要考虑当地安全法规要求,避免侵犯用户个人隐私,导致用户信息安全受损。

5.1 数据采集、汇聚的方法和工具

1 线上行为采集

  • 客户端埋点
    • 全埋点
    • 可视化埋点
    • 代码埋点
  • 服务端埋点
    • 服务器中的access_log

2 线下行为采集

  线下行为数据主要通过一些硬件采集,如常见的Wi-Fi探针、摄像头、传感器等。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沧海之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值