大数据常用处理框架有哪些呢?

本文介绍了大数据处理的两类需求——批处理和流处理,以及对应的框架Apache Hadoop、Apache Storm、Apache Samza、Apache Spark和Apache Flink。批处理擅长处理静态大数据,而流处理则适用于实时数据计算。混合处理框架如Spark和Flink能同时处理批处理和流处理任务,为企业提供了灵活的数据处理解决方案。
摘要由CSDN通过智能技术生成

大数据要实现处理,需要专业的技术手段去实现,以Hadoop、Spark为首的一些计算框架,也已经在大数据处理当中,稳稳地占据一席之地。当然,在大数据当中,可用的计算处理框架不止于此。今天加米谷学院就来为大家介绍一些大数据常用处理框架。
发展到今天,大数据处理主要分为两类大的需求,一是批处理,一是流处理。在企业的实际业务场景当中,可能会只需要批处理或者流处理,也可能同时需要批处理和流处理,这就使得搭建大数据系统平台的时候,需要根据具体场景来进行技术选型。
在这里插入图片描述

大数据处理框架,通常可以分为三类——
①批处理框架:Apache Hadoop
②流处理框架:Apache Storm、Apache Samza
③批处理+流处理框架:Apache Spark、Apache Flink
这里我们不对各个框架做更具体的讲解,而是先来理解这些不同处理模式背后的思想。
1、批处理
批处理是大数据处理当中的普遍需求,批处理主要操作大容量静态数据集,并在计算过程完成后返回结果。鉴于这样的处理模式,批处理有个明显的缺陷,就是面对大规模的数据,在计算处理的效率上,不尽如人意。
目前来说,批处理在应对大量持久数据方面的表现极为出色,因此经常被用于对历史数据进行分析。
2、流处理
批处理之后出现的另一种普遍需求,就是流处理,针对实时进入系统的数据进行计算操作,处理结果立刻可用,并会随着新数据的抵达继续更新。

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值