大数据平台架构有哪些

　　大数据平台将互联网应用和大数据产品整合起来，将实时数据和离线数据打通，使数据可以实现更大规模的关联计算，挖掘出数据更大的价值，从而实现数据驱动业务。大数据平台使得大数据技术产品可以落地应用，实现了自身价值。

 

　　大数据平台的整体架构可以由以下几个部分组成：

 

　　一、业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，比如很多银行现在都有自己的App。

 

　　更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。

 

　　二、数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而这里的Kettle只是ETL的其中一种。

 

　　三、数据存储：指的就是数据仓库的建设了，简单来说可以分为业务数据层（DW）、指标层、维度层、汇总层（DWA）。

 

　　四、数据共享层：表示在数据仓库与业务系统间提供数据共享服务。Web Service和Web API，代表的是一种数据间的连接方式，还有一些其他连接方式，可以按照自己的情况来确定。

 

　　五、数据分析层：分析函数就相对比较容易理解了，就是各种数学函数，比如K均值分析、聚类、RMF模型等等。

 

　　列存储让磁盘中的各个Page仅存储单列的值，并非整行的值。这样压缩算法会更加高效。进一步说࿰