数据平台逻辑架构

        感觉站在大数据的风口浪尖，感受一丝丝的凉风，也很自豪啊，哈哈哈，猪被风吹飞了，我看着漫天猪飞很好奇呀。

接触大数据方向的工作我们经常提的关键词无非也就是以下这些，其中的每一块都很值的挖掘，技术大牛都在其中的一个或几个领域炉火纯青。我只能说说我听过的关键词，具体每一块的精髓，还需岁月操魔。

首先，大数据平台一般由以下几部分构成：

1.数据源 也就是数据的来源

2.数据交换区 （原始数据层，中转数据层）

3.数据预处理区 （技术缓冲层重点是理解源结构，不对外提供数据服务，检查数据源数据质量；贴源明细层是长期的，细节的反应业务原貌的数据存储，关注保留策略，理解数据源结构，删除脏数据）

4.数据整合区：对象模型层，行为模型层（补充为空的属性数据，尽量少改动原始数据，修改不准确的内容，以业务为导向按需加工数据）

5.数据应用区: 以业务为导向的具体应用

数据资产管理平台主要包括：

元数据管理，数据质量管理，数据的标准化，数据安全以及生命周期等

统一调度平台：

完成作业任务的管理，任务的执行和任务监空 （其实就是ETL调度)

再瞎逼逼一下大数据平台工作的两大模块：1.技术架构 ，就是对大数据的认识要很深刻，熟悉各种主流数据工具，开发语言等，总言而之就是神一般的大神，主要从技术角度更好的实现业务逻辑    2. 数据模型架构，侧重从业务角度出发梳理出更好的数据架构模型，与技术架构相辅相成，以期达到让数据变现的最佳效果。