一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

最新推荐文章于 2024-05-13 15:11:03 发布
最新推荐文章于 2024-05-13 15:11:03 发布
阅读量1k 收藏 20
点赞数 25
分类专栏： 2024年程序员学习 文章标签： 数据仓库 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83621784/article/details/136935026
版权

Kappa

=================================================================

Kappa架构原理

Kappa架构的核心思想包括以下三点：

  • 用Kafka或者类似的分布式队列系统保存数据，你需要几天的数据量就保存几天。

  • 当需要全量重新计算时，重新起一个流计算实例，从头开始读取数据进行处理，并输出到一个新的结果存储中。

  • 当新的实例做完后，停止老的流计算实例，并把老的一些结果删除。

在这里插入图片描述在Kappa架构下，只有在有必要的时候才会对历史数据进行重复计算，并且实时计算和批处理过程使用的是同

最低0.47元/天 解锁文章
2401_83621784
关注
  • 25
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据处理中的Lambda架构和Kappa架构
03-03
首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用Sqoop，日志同步可以选择Flume，打点采集的数据经过格式化转换后通过Kafka等消息队列进行传递。不同的数据源产生的数据质量可能差别很大，数据
大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别(1)
2401_84181481的博客
04-27 884
Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。两者都有各自的优缺点，需要根据具体场景进行技术选型和设计权衡。
2024年大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别，2024年最新你花了多久弄明白架构设计
最新发布
2401_84182146的博客
05-13 878
Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。两者都有各自的优缺点，需要根据具体场景进行技术选型和设计权衡。
大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓
weixin_51981189的博客
12-05 1300
Lambda架构：组合批处理层和速度层，兼顾低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Lambda架构的批处理层可以基于Hadoop、Spark等技术来实现，速度层可以基于Storm、Flink等流式处理系统来实现。服务层需要实现查询接口，可以使用REST API。Lambda架构适合大数据场景，但维护批处理层和速度层的重复开发较为麻烦。Kappa架构：仅通过流式处理实现所有处理，简化了架构，但历史数据分析相对复杂。
大数据技术4：Lambda和Kappa架构区别
何哥的博客
12-08 2959
Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。两者都有各自的优缺点，需要根据具体场景进行技术选型和设计权衡。
下一代大数据即时分析架构--IOTA架构
weixin_34257076的博客
05-16 367
经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。一个典型的Lambda架构如下： ...
大数据平台数据处理之Lambda架构和Kappa架构
延宝小白马的博客
08-15 2746
首先我们来看一个典型的互联网大数据平台的架构，如下图所示： 在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。 你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。 数据采集 将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop，日志同步可以选择
apollo-server-lambda-example：使用apollo-server-lambda时的错误示例
03-04
在探讨"apollo-server-lambda-example"这个主题时，我们聚焦于如何在AWS Lambda上使用Apollo Server，这是一个流行的GraphQL服务器库，特别适用于Node.js环境。在这个错误示例中，我们将深入理解可能遇到的问题以及...
create-react-app-lambda-typescript:create-react-app-lambda-typescript
05-26
本篇文章将深入探讨如何结合Create React App和AWS Lambda，利用TypeScript构建一个完整的前后端应用。 一、Create React App与TypeScript集成 1. **安装和配置Create React App** 首先，我们需要一个基于...
serverless-graphql-subscriptions:带有Apollo-Server-Lambda的Graphql订阅
05-14
## AWS Lambda上的Apollo服务器订阅 这是一个示例应用程序，显示了如何通过订阅实现apollo-server-lambda。 对于订阅实施，使用了AWS API Gateway Websockets和DynamoDB
数据仓库的数据处理架构Lambda和Kappa
shangjg3的博客
03-22 1358
1.数据仓库数据仓库（Data Warehouse），简写DW。顾名思义，数据仓库是一个很大的数据存储集合，为企业分析性报告和决策支持而创建，是对多元业务数据的筛选与整合，具备一定的BI能力，主要用于企业的数据分析、数据挖掘、数据报表等方向，指导业务流程改进、监视时间、成本、质量以及控制。2.数据仓库架构了解完数仓之后，我们再来谈数仓架构。“架构”是什么？到目前为止，还没有出现公认的标准答案。
实时数仓之 Kappa 架构与 Lambda 架构
max_hello的博客
03-14 1837
我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍 数据仓库概念 离线大数据架构 Lambda 架构 Kappa 架构 Lambda 架构与 Kappa 架构的对比 1 数据仓库概念 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库概念是 Inmon 于 1990 年提出并给..
kappa和lambda对比
大数据星球-浪尖
05-06 6815
首先我们会详细的讲解这两种架构，实现这两种架构的技术工具，还有就是如何决策使用这两种架构。如何构建一个实时处理系统架构一直争论不断。一个好的实时处理系统必须是容错和可升级...
实时数仓之 Kappa 架构与 Lambda 架构（建议收藏！）
张普的专栏
02-04 7642
大家好，我是土哥.2021 年 1月份，给大家重点分享一下离线数仓与实时数仓的内容。今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍数据仓库概念离线大数据架构Lamb...
大数据三种主流架构（Lambda、Kappa、IOTA）
weixin_48143996的博客
06-23 7680
数据湖内的数据在利用的时候一般会遵循Lambda架构或者Kappa架构或IOTA架构等数据处理的架构思想为指导。 当然，不遵循这两种架构思想也是可以的，如果你有自己的想法去做设计也是没问题的。只是，一般Lambda架构和Kappa架构作为成熟的大数据分析架构，用在处理数据湖内的数据也是很适合的。
plotly在Redash中文商业版中的应用
weixin_38030820的博客
12-08 258
Plotly，一个用于做分析和可视化的在线平台，不仅与多个主流绘图软件的对接，而且还可以像Excel那样实现交互式制图，而且图表种类齐全，支持20种基本图表；12种统计和海运方式图；21种科学图表；：8种地图；19种3D图表等等，被誉为“功能最为强大的可视化神器”。 Redash中文商业版集成Plotly.js功能，可以自定义绘制任何想要的图表，不再被模板固定，拥有高自由度，几乎可以实现任何平面的设计需求，能最大限度地展现出用户想象力，自由定制个性化图表。 plotly.js的三大主要属性data、la
请根据“实时数据仓库架构设计 Lambda架构 Kappa架构 流批结合的实时数仓”写出学习收获
07-13
学习收获： 1. 实时数据仓库架构设计：实时数据仓库架构设计是为了满足实时数据处理和分析需求而提出的一种架构设计。它能够将实时数据和历史数据进行有效整合，提供实时的数据查询和分析能力。 2. Lambda架构：Lambda架构是一种用于构建实时大数据处理系统的架构模式。它将数据处理分为两个流程：批处理和实时处理。批处理用于离线处理大量的历史数据，而实时处理则用于处理实时产生的数据。通过将批处理和实时处理结果进行合并，Lambda架构能够提供全面且及时的数据分析。 3. Kappa架构：Kappa架构是一种简化版的Lambda架构，它将批处理和实时处理合并为一个统一的流处理过程。Kappa架构使用流处理系统来处理所有的数据，无论是历史数据还是实时数据。这样可以简化系统架构，并提供更低的延迟和更高的吞吐量。 4. 流批结合的实时数仓：流批结合的实时数仓是一种将流处理和批处理相结合的架构设计。它利用流处理系统对实时数据进行处理和分析，同时通过批处理系统对历史数据进行处理和分析。这种结合能够满足实时和历史数据的需求，并提供更全面和准确的数据分析结果。 通过学习实时数据仓库架构设计、Lambda架构、Kappa架构以及流批结合的实时数仓，我了解到了如何构建和优化实时大数据处理系统，以及如何满足实时数据分析的需求。这些知识对于处理大规模实时数据和提供实时数据分析能力非常有帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值