一、你被大数据了嘛
通常我们发现当我们使用某宝、某音后,他们会自动推荐我们想要的东西,哪怕只是今天和朋友提了一句,或者是偶尔闲聊,这些都会被大数据记住,然后推荐你需要的给你。在大数据给我们带来方便的同时,我们害怕数据安全会侵犯我的个人隐私。为了不被大数据化,我们可以搜索些我们不关注的,比如我是个男生为了不被大数据去搜索一些化妆品,衣服包包的信息,来稀释我们的用户画像信息,从而推荐就不会那么准确了。那这些大数据背后都有哪些数据处理工具和数据处理办法呢?
二、数仓、数据湖、数据中台
目前大数据中数据处理的技术离不开数仓、数据湖和数据中台的概念。其中处理数据又包括流式处理数据和批式处理数据。为了搞懂这三个东西,首先我们得弄清楚,数仓数据湖数据中台都能干啥。数仓是一个面向数据主题的仓库,里面的数据做好了标签,按分类堆在一起。数据湖是在数仓基础上,提高了存储性能,同时我按照决策需要搭建了数据集市,数据模型并提供对外的数据接口等。数据中台偏向为是一个平台,为了提高数据的复用性,快速协助克隆应用的平台。
今天我们要介绍的kettle是在数仓层,来处理大批量的数据,是一种ETL工具。
优点在于功能强大,运行稳定,对于PB级别以下的数据处理非常方便。但是很难满足时效性的需求。一般属于批式处理,主要用于经营决策分析,数据预测,数据推送等业务范围。对于公司系统庞多,但是对数据时效性要求不高的,是非常契合的。