大数据分析架构

原创 2018年04月15日 22:42:38

经常有人问,大数据分析要如何开始,怎样使用大数据分析去解决实际问题?


为了能很好的解决问题,需要退一步思考问题,站在具体的应用场景之中,提出整体的解决方案。


大数据以及相关的概念,其根本的目标是为了解决业务问题,即应用场景,这一点我们要时刻记住!虽然大数据的应用场景是从上至下建立的,但是从下而上的解释或许更简单。


数据层:

毫无疑问,架构的最底层是数据,数据支撑着整个架构。数据库和存储器厂商在这一层竞争激烈。具有创新性的hadoop在数据层的影响力不可小觑。


数据展现层:

再往上一层是数据预处理。由于大量的数据按照不同的形式存在,需要数据预处理层将数据从数据源提取、合并、处理成分析所需要的格式。这一领域也拥有很多厂商。


分析层:

再往上是数据分析层,统计是最常用的分析手段,可以使用的工具包括statistics和开源的R。机器学习也是属于这一层,使用机器学习进行自动的分析是数据分析的未来。


展现层:

展现层是数据分析引擎最终的输出,并且紧密依赖应用场景。这一层也被称为执行层、消费层。

  • 应用场景的分析结果如果是呈现给个人,就可以使用BI或者一些数据可视化的工具。相关的例子包括欺诈检测、订单到现金流监控等等。总之,最终的结果都是要呈现给决策制定者,由他们来执行最终的决定。

  • 另外一个比较典型的应用场景是,数据分析的结果直接提供给下游的系统或者程序。这类的例子包括推荐系统和实时报价系统等等。总之,对这种情况,数据分析的结果都是提供给下游系统,下游系统据此作出进一步的行动。

  • 如果是对预警系统,数据分析结果作为输入,这样的例子包括医疗设备故障监测、网络故障检测等。预警系统收到分析层发来的结果,会以实时或者近实时的速度发出警报通知相关人员。


应用层:

作为最终的价值层,整个数据分析的架构都为此服务,应用层决定了以上三层应该选择什么样的饿工具。应用的案例包括,欺诈检测、通话故障、网络故障、机器故障等等,就像菜单上的菜名一样多,并且随着数据量的增长不断增长。


京东金融大数据分析平台总体架构

  • 2017年10月30日 10:50
  • 4.11MB
  • 下载

京东金融大数据分析平台总体架构的ppt

  • 2017年11月07日 11:11
  • 4.08MB
  • 下载

架构大数据分析应用

这是《Scalable Big Data Architecture》一书的翻译笔记和读书札记,融入自己的部分观点 ….典型使用场景....大数据生态系统........
  • wireless_com
  • wireless_com
  • 2016-05-18 21:19:50
  • 14386

大数据分析整体技术流程及架构

本文对项目中所用到的大数据分析整体流程技术及其架构进行简要的总结,以供大家在大数据分析平台对数据处理流程更加明确 1.1 数据处理流程 该项目是一个纯粹的数据分析项目,其整体流程基本上就是依据数据...
  • tian_qing_lei
  • tian_qing_lei
  • 2017-07-21 21:44:16
  • 1720

Lamda架构-分析日志流水线

Lamda架构 前言:日志分析中既有离线大规模需求,也有实时性需求,因此需要采用Lamda架构(目的是为大数据分析应用程序提供一个低响应延迟的组合数据环境)构建日志分析流水线。...
  • youchuikai
  • youchuikai
  • 2017-03-28 09:28:50
  • 496

2016全球大数据战略版图剖析(1):架构篇

本文为数盟原创文章,转载时请注明出处为“数盟社区”。 http://dataunion.org/wp-content/uploads/2016/02/2016BigDataLandScape.p...
  • u013886628
  • u013886628
  • 2016-07-04 12:51:55
  • 3007

大数据处理架构Hadoop

1.Hadoop是一个能够对大量数据进行分布式处理的并且是以一种可靠、高效、可伸缩的方式进行处理的软件框架。2.Hadoop具有高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux平台上、...
  • Miraclesss
  • Miraclesss
  • 2018-02-25 17:58:12
  • 223

IBM分析大数据平台架构

  • 2015年08月22日 12:35
  • 874KB
  • 下载

大数据处理平台基础架构-sohu-smc

做数据已经1个季度了,这里再说下我们的整体构架,另外说下现在还有哪些问题。   Sohu-smc  数据处理平台基础架构图   如图,左侧是整个大数据处理流程中数据的流向。其中绿色部分是日...
  • liuzeheng
  • liuzeheng
  • 2014-10-22 12:09:56
  • 1918

顶级大数据处理框架

摘要讨论了五个大数据处理框架:Hadoop,Spark,Flink,Storm,Samaza如今大量数据不断产生,去纠结具体多大才算大数据没什么意义。 就像“人工智能”一样,大数据这个词的具体含义是变...
  • wenwenxiong
  • wenwenxiong
  • 2016-11-16 18:22:05
  • 3880
收藏助手
不良信息举报
您举报文章:大数据分析架构
举报原因:
原因补充:

(最多只允许输入30个字)