实时存储引擎和实时计算引擎

最新推荐文章于 2024-07-01 16:05:40 发布
最新推荐文章于 2024-07-01 16:05:40 发布
阅读量3.0k 收藏 11
点赞数 6
文章标签： flink kafka spark mapreduce hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36366757/article/details/109171918
版权
本文主要探讨了实时存储引擎Kafka和实时计算引擎Flink。Kafka用于实时存储，解决延迟消费问题。Flink作为实时计算引擎，提供流处理和批处理能力，强调状态管理和窗口计算。Flink的HA新架构基于YARN，通过ZK进行协调。文章还讨论了Flink作业的编译、部署以及与Spark的对比，并解答了关于消费保证、Kafka扩容、实时与批数据对齐等问题。
摘要由CSDN通过智能技术生成

系列文章

  1. 实时存储引擎和实时计算引擎
  2. 美团点评 Hadoop/Spark 系统实践
  3. 美团大数据查询技术
  4. 美团深度学习平台实践
  5. 美团广告系统实践

本文目录

一 、实时存储引擎 Kafka


SSD 缓存架构解决延迟消费污染缓存空间问题

二 、实时计算引擎 Flink

2.1 简介和系统架构

相当于 mapreduce/spark + 实时计算

在这里插入图片描述
在实时处理框架中，不会持久化，而是写入内存的一个 state，通过写入内存替代持久化，增加处理速度。
最近两年使用 streaming，Flink，生态比较好。
在这里插入图片描述
native 单条
micro-batch 微批

最低0.47元/天 解锁文章
叔于田蒸蒸
关注
实时数据流计算引擎Flink和Spark剖析
小舰的博客
10-22 837
在过去几年，业界的主流流计算引擎大多采用Spark Streaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。与此同时，Spark针对Spark Streaming的不足，也继而推出了新的流计算组件。本文旨在深入分析不同的流计算引擎的内在机制和功能特点，为流处理场景的选型提供参考。 （DLab数据实验室 w.x.公众号出品） 一. Spark Streaming Spark Streaming是Spark最早推出的流处理组件，它基于流式批处理引擎，基本原理是把输入数据以某一时间
轻量级内存计算引擎
cainiao_M的博客
09-27 1573
内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。   HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种轻量级内存计算引擎。 下面就来介绍一下集算器实现内存计算的一般过程。 一、        启动服务器 集算器有两种...
6种ETL计算引擎介绍
最新发布
oOBubbleX的博客
07-01 861
本文旨在介绍ETL计算引擎的定义、功能和特性，以及6种ETL计算引擎的优缺点。
存储和计算引擎
qq_38261075的博客
07-22 360
存储引擎和计算引擎
阿里新一代实时计算引擎_Blink_每秒支持数十亿次计算
bystarlight的博客
05-31 1046
原文链接 王峰，淘宝花名”莫问"，2006年毕业后即加入阿里巴巴集团，长期从事搜索和大数据基础技术研发工作，目前在计算平台事业部，负责实时计算北京研发团队。 热点热议 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算 作者：琴瑟琵琶 MaxCompute如何实现跨项目授权 作者：传学 发表在：阿里云服务 你听过无人驾驶，但
2月08日云栖精选夜读：权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算...
weixin_34307464的博客
02-08 185
阿里巴巴需要研发世界级一流的流式计算引擎，实时处理海量数据，提供在线统计、学习和预测能力，不仅支持阿里巴巴自己的核心电商场景，同时也能通过阿里云向外部中小企业提供流式计算服务，输出实时计算能力，这就是我今天要分享的最新一代阿里巴巴实时计算引擎Blink。 热点热议 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算 作者：巴蜀真人 ...
实时计算引擎在贝壳的应用与实践.pdf
06-23
此外，元数据化和实时云端控制台的构建是提高数据接入效率、保证数据质量的重要手段。 4. 实时计算引擎的选择与应用 文章提到，贝壳找房在实时计算引擎的选择上经历了从Spark Streaming到Apache Flink的转变。...
实时指标计算引擎-Spark-Part_1_杨鑫_2019-12-19.pptx
12-19
### 实时指标计算引擎——Apache Spark #### 一、引言 随着大数据时代的到来，实时数据分析变得越来越重要。...未来，随着数据量的持续增长和实时分析需求的不断增加，Spark Streaming将会发挥更加重要的作用。
Flink——实时计算引擎
脑细胞:-D的博客
08-05 990
数据实时采集——>数据实时计算——>数据实时下发(告警：邮件、短信、微信等，存储：消息队列、DB、文件系统等)告警：如果超过相关阈值界限后会通过邮件、短信、微信等通知运维及时做好应对措施，减少故障损失存储：数据存储后，监控大盘从存储中查询对应指标的数据就可以实现诸如爆款商品、店铺成交额、机器CPU、Mem等。...
阿里新一代实时计算引擎Blink技术解密.pdf
08-29
阿里高级技术专家马国维在2017云栖大会·北京峰会中做了题为《阿里新一代实时计算引擎Blink技术解密》的分享,就流式计算架构介绍，Apache Flink，Alibaba Blink，Blink应用案例等方面的内容做了深入的分析。
Fel是轻量级的高效的表达式计算引擎
01-10
Fel在源自于企业项目，设计目标是为了满足不断变化的功能需求和性能需求。 Fel是开放的，引擎执行中的多个模块都可以扩展或替换。Fel的执行主要是通过函数实现,运算符(+、-等都是Fel函数），所有这些函数都是可以替换的，扩展函数也非常简单。 Fel有双引擎，同时支持解释执行和编译执行。可以根据性能要求选择执行方式。编译执行就是将表达式编译成字节码（生成java代码和编译模块都是可以扩展和替换的） Fel基于Java1.5开发，适用于Java1.5及以上版本。
Java表达式计算引擎:Expr4J
11-09
一个开源的Java表达式计算引擎 Java代码 /** * java 表达式计算引擎 * @author Michael sun */ public class TestExpr4j { /** * @param args */ public static void main(String[] args) { SimpleEvaluationContext context = new SimpleEvaluationContext(); System.out.println("Expr Evaluator v1.0"); BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); while (true) { try { System.out.print(">"); String line = br.readLine(); if (line == null) break; Expr e = ExprParser.parse(line); Exprs.toUpperCase(e); if (e instanceof ExprEvaluatable) { e = ((ExprEvaluatable) e).evaluate(context); } System.out.println(e); } catch (Exception e) { e.printStackTrace(); } } } } 测试执行结果如下： Java代码 Expr Evaluator v1.0 >25*36*(42-18*2)/3*2-45+89/46+13*2/32-45 3512.7472826086955 >10^2/5-(23/2) 8.5 >
Procella@Youtube 把计算加速玩到极致的实时计算引擎
马云雷的专栏
05-20 1135
Procella的应用场景 在youtue内部，在数据分析领域有4个方面的应用场景： 报表和大盘：1000亿数据/天，要求在10ms的延时内完成近实时的计算，主要的计算类型过滤/聚合/set/join 内嵌的统计指标，例如视频的浏览人数等等，特点是数据不停的变化，每秒上百万次查询。 时序数据监控：特点是query固定，数据量小，可以下采样，旧数据过期，以及一些特有的查询例如估算函数和时序函数。 Ad hoc查询：提供给数据科学家，BI分析师等使用的，特点是query比较复杂，且不可预测，要求延时在秒级别处
Flink第一章实时计算引擎
wangjunji34478的专栏
10-13 3004
Flink是一个针对流数据和批数据的分布式处理引擎，代码主要是由java实现，部分代码是scala。它可以处理有界的批量数据集，也可以处理无界的实时数据集。其所要处理的主要场景就是流数据、批数据只是流数据的一个极限特例而已，所以Flink也是一款真正的流批流一的计算引擎。
实时计算，流数据处理系统简介与简单分析
w_j_w2010的博客
11-26 1885
大数据实时计算流计算 摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。 编者按：互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一般要求为秒级。实时计算的今天，业界都没有一
计算引擎
luolang_103的博客
05-20 7290
引擎： 动力核心 搜索引擎：搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。 故而计算引擎： 自己理解：一个整的动力核心，负责计算中数据的来源，数据的操作...
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值