大数据分析架构

经常有人问,大数据分析要如何开始,怎样使用大数据分析去解决实际问题?


为了能很好的解决问题,需要退一步思考问题,站在具体的应用场景之中,提出整体的解决方案。


大数据以及相关的概念,其根本的目标是为了解决业务问题,即应用场景,这一点我们要时刻记住!虽然大数据的应用场景是从上至下建立的,但是从下而上的解释或许更简单。


数据层:

毫无疑问,架构的最底层是数据,数据支撑着整个架构。数据库和存储器厂商在这一层竞争激烈。具有创新性的hadoop在数据层的影响力不可小觑。


数据展现层:

再往上一层是数据预处理。由于大量的数据按照不同的形式存在,需要数据预处理层将数据从数据源提取、合并、处理成分析所需要的格式。这一领域也拥有很多厂商。


分析层:

再往上是数据分析层,统计是最常用的分析手段,可以使用的工具包括statistics和开源的R。机器学习也是属于这一层,使用机器学习进行自动的分析是数据分析的未来。


展现层:

展现层是数据分析引擎最终的输出,并且紧密依赖应用场景。这一层也被称为执行层、消费层。

  • 应用场景的分析结果如果是呈现给个人,就可以使用BI或者一些数据可视化的工具。相关的例子包括欺诈检测、订单到现金流监控等等。总之,最终的结果都是要呈现给决策制定者,由他们来执行最终的决定。

  • 另外一个比较典型的应用场景是,数据分析的结果直接提供给下游的系统或者程序。这类的例子包括推荐系统和实时报价系统等等。总之,对这种情况,数据分析的结果都是提供给下游系统,下游系统据此作出进一步的行动。

  • 如果是对预警系统,数据分析结果作为输入,这样的例子包括医疗设备故障监测、网络故障检测等。预警系统收到分析层发来的结果,会以实时或者近实时的速度发出警报通知相关人员。


应用层:

作为最终的价值层,整个数据分析的架构都为此服务,应用层决定了以上三层应该选择什么样的饿工具。应用的案例包括,欺诈检测、通话故障、网络故障、机器故障等等,就像菜单上的菜名一样多,并且随着数据量的增长不断增长。


阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页