大数据分析架构

经常有人问，大数据分析要如何开始，怎样使用大数据分析去解决实际问题？

为了能很好的解决问题，需要退一步思考问题，站在具体的应用场景之中，提出整体的解决方案。

大数据以及相关的概念，其根本的目标是为了解决业务问题，即应用场景，这一点我们要时刻记住！虽然大数据的应用场景是从上至下建立的，但是从下而上的解释或许更简单。

数据层：

毫无疑问，架构的最底层是数据，数据支撑着整个架构。数据库和存储器厂商在这一层竞争激烈。具有创新性的hadoop在数据层的影响力不可小觑。

数据展现层：

再往上一层是数据预处理。由于大量的数据按照不同的形式存在，需要数据预处理层将数据从数据源提取、合并、处理成分析所需要的格式。这一领域也拥有很多厂商。

分析层：

再往上是数据分析层，统计是最常用的分析手段，可以使用的工具包括statistics和开源的R。机器学习也是属于这一层，使用机器学习进行自动的分析是数据分析的未来。

展现层：

展现层是数据分析引擎最终的输出，并且紧密依赖应用场景。这一层也被称为执行层、消费层。

• 应用场景的分析结果如果是呈现给个人，就可以使用BI或者一些数据可视化的工具。相关的例子包括欺诈检测、订单到现金流监控等等。总之，最终的结果都是要呈现给决策制定者，由他们来执行最终的决定。

• 另外一个比较典型的应用场景是，数据分析的结果直接提供给下游的系统或者程序。这类的例子包括推荐系统和实时报价系统等等。总之，对这种情况，数据分析的结果都是提供给下游系统，下游系统据此作出进一步的行动。

• 如果是对预警系统，数据分析结果作为输入，这样的例子包括医疗设备故障监测、网络故障检测等。预警系统收到分析层发来的结果，会以实时或者近实时的速度发出警报通知相关人员。

应用层：

作为最终的价值层，整个数据分析的架构都为此服务，应用层决定了以上三层应该选择什么样的饿工具。应用的案例包括，欺诈检测、通话故障、网络故障、机器故障等等，就像菜单上的菜名一样多，并且随着数据量的增长不断增长。