大数据相关概念——kettle开发00

一、你被大数据了嘛

通常我们发现当我们使用某宝、某音后，他们会自动推荐我们想要的东西，哪怕只是今天和朋友提了一句，或者是偶尔闲聊，这些都会被大数据记住，然后推荐你需要的给你。在大数据给我们带来方便的同时，我们害怕数据安全会侵犯我的个人隐私。为了不被大数据化，我们可以搜索些我们不关注的，比如我是个男生为了不被大数据去搜索一些化妆品，衣服包包的信息，来稀释我们的用户画像信息，从而推荐就不会那么准确了。那这些大数据背后都有哪些数据处理工具和数据处理办法呢？

二、数仓、数据湖、数据中台

目前大数据中数据处理的技术离不开数仓、数据湖和数据中台的概念。其中处理数据又包括流式处理数据和批式处理数据。为了搞懂这三个东西，首先我们得弄清楚，数仓数据湖数据中台都能干啥。数仓是一个面向数据主题的仓库，里面的数据做好了标签，按分类堆在一起。数据湖是在数仓基础上，提高了存储性能，同时我按照决策需要搭建了数据集市，数据模型并提供对外的数据接口等。数据中台偏向为是一个平台，为了提高数据的复用性，快速协助克隆应用的平台。

今天我们要介绍的kettle是在数仓层，来处理大批量的数据，是一种ETL工具。

优点在于功能强大，运行稳定，对于PB级别以下的数据处理非常方便。但是很难满足时效性的需求。一般属于批式处理，主要用于经营决策分析，数据预测，数据推送等业务范围。对于公司系统庞多，但是对数据时效性要求不高的，是非常契合的。