Spark综合学习笔记（四）流式计算应用场景和处理模式

最新推荐文章于 2024-04-20 15:55:11 发布
最新推荐文章于 2024-04-20 15:55:11 发布
阅读量1.3k 收藏
点赞数
分类专栏： spark 大数据 文章标签： spark big data java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41311528/article/details/121373295
版权

学习致谢：
https://www.bilibili.com/video/BV1Xz4y1m7cv?p=39

流式计算应用场景

介绍
在这里插入图片描述
1.双十一大屏
在这里插入图片描述

2.商品推荐
在这里插入图片描述

3.工业大数据
在这里插入图片描述
4.集群监控
针对各种数据库，包括MySQL,HBase等进行监控
针对应用进行监控，例如Tomcat,Nginx,Node.js
针对硬件的一些指标进行监控，例如CPU,内存，磁盘等
在这里插入图片描述
5.火车站，汽车站的班次信息牌
6.地震预警
7.支付宝异地付款

Streaming计算模式

模式一、原生流处理

在这里插入图片描述

模式二、微批处理（Batch）

在这里插入图片描述
就像是动画书一样，连起来就是动画；同样地，微批处理连起来就相当于实时流处理
在这里插入图片描述

斯特凡今天也很帅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GeoMesa流处理场景
GIS摆渡人
05-13 497
最近在做一些关于GeoMesa 的研究，发现一篇使用Kafka 和GeoMesa对实时流数据进行可视化的文章，希望通过翻译这篇文章（主要还是google翻译的功劳），对从事实时数据可视化方面研究的朋友们提供一些新的想法和思路。 实时位置流数据的可视化，可以展示目标点的实时位置分布、热力、轨迹等。它能够在即时快送、物流、快递、共享出行管理、政府公共交通监控，如公交、地铁、出租汽车等场景发挥作用。 众所周知GeoMesa用例通常以其与大型，可扩展的面向列的数据库管理器（如Accumulo，HBase和Googl
使用stream流处理常见的业务场景
qq_52886103的博客
06-23 409
熟练使用Ctrl+C，Ctrl+V，Ctrl+F，Ctrl+R体验更佳哦。
Spark 运行模式与运行流程
Mr.pan felix的专栏
07-12 558
概述 Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce和Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架， 比如: Spark Core用于离线计算 Spark SQL用于交互式查询 Spark Streaming用于实时流式计算 Spark MLlib用于机器学习 Spark GraphX用于图计算 Spark VS MapReduce 这部分由于水平有限，只能转至其他大神的总结 www.cnblogs.com/dea
状态在流处理中应用场景
最新发布
smile6868的博客
04-20 235
总的来说，状态在流处理中的应用贯穿于数据清洗、过滤、聚合、关联、模式识别、复杂事件处理、预测分析等各个环节，它使流处理系统能够执行各种复杂的有状态计算，应对数据流的动态变化，并确保在分布式环境中的一致性、可靠性和容错性。常见的流处理框架如 Apache Flink、Spark Streaming、Kafka Streams 等都提供了强大的状态管理功能来支持上述应用场景。在流处理中，状态扮演着至关重要的角色，特别是在处理无边界数据流时。
spark数据流的合并与分支
白乔专栏
09-06 2797
spark数据流（data flow）的合并可以通过union来实现。先测试一下批量数据（batching data）的union：scala> Seq("1","2","3","4").toDS.union(Seq("a","b","c","d").toDS).show +-----+ |value| +-----+ | 1| | 2| | 3| | 4| | a|
数据中台（读书笔记）-3-数据开发
allensandy的博客
06-22 1049
数据开发 数据开发涉及到的产品能力主要包括三部分：离线开发、实时开发和算法开发。 离线开发：主要包括离线数据的加工、发布、运维管理，以及数据分析、数据探索、在线查询和即席分析相关的工作。 实时开发：主要涉及到数据的实时接入和实时处理，简化流数据的加工处理过程。 算法开发：提供简单易用的可视化拖拽和Notebook方式来实现数据价值的深度挖掘。 数据计算的四种类型 （1）批计算 用于批量数据高延迟处理场景，如离线数仓的加工、大规模数据的清洗和挖掘。目前大部分采用MapReduce、Hive、Sp
流式计算应用场景
萧十一郎2022
10-08 2837
应用场景 物联网（IoT） 设备故障告警：极其迅速感知到故障的发生，并及时进行告警。 实时监控：实时分析设备的监控数据，实现对设备各项指标的实时监控。 动态跟踪：实时跟踪并显示设备（比如汽车）的位置。 金融行业 欺诈探测：实时分析用户行为，并及时辨识到可疑欺诈行为。 客户营销：根据用户即时的行为记录，实时为客户推荐个性化的金融产品。 ...
从Storm和Spark学习流式实时分布式计算的设计
02-21
总结，从Storm和Spark的学习中，我们可以看到流式实时分布式计算系统的关键在于提供高效、容错的实时数据处理能力。理解这些系统的架构设计和实现原理，有助于我们在实际项目中选择合适的技术栈，优化数据处理流程，...
Spark学习笔记—Spark计算模型
01-07
RDD是Spark核心数据结构，它是逻辑集的实体，在集群中多台机器之间进行数据分区，通过对多台机器上RDD分区的控制，能够减少数据的重排(data Shuffling)。Spark通过partitionBy运算符对原始RDD进行数据再分配从而创建...
spark学习笔记一
01-20
Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS，更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的优点： 1.中间结果的输出 （1）MapReduce的话计算结果会产生很多stage，...
Spark学习笔记（一）Spark初识【特性、组成、应用】
08-25
Apache Spark 是一款强大的分布式计算系统，专为大规模数据处理设计，旨在提高数据处理的速度和效率。Spark 的核心优势在于其内存计算的能力，这使其相比传统的MapReduce模型在性能上有显著提升。本篇文章将对Spark...
什么是流式计算？
热门推荐
weixin_43520450的博客
06-02 1万+
一、流式计算的背景 在日常生活中，我们通常会把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据，那么数据的时效性要求并不高；但如果我们处理的是以天、小时，甚至分钟为单位的数据，那么对数据的时效性要求就比较高。在第二种场景下，如果我们仍旧采用传统的数据处理方式，统一收集数据，存储到数据库中，之后在进行分析，就可能无法满足时效性的要求。 二、流式计算与批量计算 大数据的计算模式主要分为： 批量计算(batch computing) 流式计算(str
Spark - 第20章 流处理基础
Syntactic Sugar
08-11 1033
流处理是连续处理新到来的数据以更新计算结果的行为。应用程序在运行时将输出多个版本的结果，或者在某外部系统（如键值数据库）中持续保持最新的结果。批处理是在固定大小输入数据集上进行计算的。批处理也可以进行查询计算，与流处理差不多，但只计算一次结果。连续应用程序：把包括流处理、批处理和交互式作业等全部作用在同一数据集上的处理环节串联起来，从而构建端到端应用程序，提供最终的处理结果。结构化流处理注重使用简单的端到端的方式构建此类应用程序，而不是仅仅在流数据级别上针对每条记录进行记录。...
流计算 应用场景
景山编程-顺道编程
01-10 4576
1 为了解决什么样的问题 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。 举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。 再举一个推荐的例子，如果用户昨天在淘宝上买了一...
淘宝大数据之流式计算
qq_29718979的博客
09-12 462
到底什么是大数据？大数据与数据统计有什么区别？如果不理解大数据的承载底层技术，很难讲清楚。因此作为解决方案经理，技术与业务都是作为方案不可缺少的组成部分。今天我们来看一下大数据之流式计算。 一、流式计算的应用场景 我们上一章讲到了数据采集。数据采集之后，如何利用数据呢？将采集的数据快速计算后反馈给客户，这便于流式计算。流式计算在物联网、互联网行业应用...
流式计算的应用特征
FirstCilck的博客
09-11 1874
流式计算可以广泛应用于金融银行、互联网、物联网等诸多领域，如股市实时分析、插入式广告投放、交通流量实时预警等场景，主要是为了满足该场景下的实时应用需求。数据往往以数据流的形式持续到达数据计算系统，计算功能的实现是通过有向任务图的形式进行描述，数据流在有向任务图中流过后，会实时产生相应的计算结果。整个数据流的处理过程往往是在毫秒级的时间内完成的。 通常情况下，流式计算场景具有以下鲜明特征。 在流...
Storm：流式处理框架之特性与应用场景
时光刻下的容颜
07-28 1870
数据时代的今夕，如秋风席卷落叶漫天纷飞，storm愿做系铃人解之庖丁。       一、是什么       Storm是一个分布式的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt把数据保存到某种存储器或者把数据传递给其它的bolt。       二、有什
spark-介绍(1).docx
10-09
Spark的设计初衷是为了提供一个快速、通用且易于扩展的平台，支持多种计算模式，包括批处理、实时流处理、交互式查询、图处理以及机器学习。它在性能上显著优于传统的MapReduce，尤其是在内存计算方面，可以实现亚秒...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值