最全架构设计之大数据架构（Lambda架构、Kappa架构）(1)

最新推荐文章于 2024-05-28 11:12:42 发布
VIP文章 最新推荐文章于 2024-05-28 11:12:42 发布
阅读量1k 收藏 18
点赞数 25
分类专栏： 程序员 文章标签： 大数据 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181070/article/details/138446002
版权

其它相关推荐：
系统架构之微服务架构
系统架构设计之微内核架构
鸿蒙操作系统架构

所属专栏：系统架构设计师

一. 大数据技术生态

  1. 存储：主要包括HDFS、Kafka
    HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据
  2. 计算：主要包括MapReduce、Spark、Flink
    MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据
  3. 联机查询OLAP：包括kylin、impala等
  4. 随机查询NoSQL：包括Hbase、Cassandra等
  5. 挖掘、机器学习和深度学习等技术：包括TensorFlow、caffe、mahout

二. 大数据分层架构

大数据分层架构图： 在这里插入图片描述

大数据架构图&#

最低0.47元/天 解锁文章
2401_84181070
关注
  • 25
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
软考 系统架构设计师系列知识点之大数据设计理论与实践（9）
phmatthaus的专栏
04-17 421
软考 系统架构设计师系列知识点之大数据设计理论与实践（9）
架构设计之大数据架构（Lambda架构、Kappa架构）
2401_84183545的博客
05-01 555
(Hadoop分布式文件系统)，它可以用来存储海量数据，适合运行在通用硬件上的分布式文件系统(Distributed File System)。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，【通常用于处理离线数据的存储】。: 高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。【实时数据和离线数据均支持】。
最新架构设计之大数据架构（Lambda架构、Kappa架构）
2401_84166811的博客
05-04 957
一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。：开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
2024年大数据最全架构设计之大数据架构（Lambda架构、Kappa架构）(3)
2401_84166965的博客
05-02 859
(Hadoop分布式文件系统)，它可以用来存储海量数据，适合运行在通用硬件上的分布式文件系统(Distributed File System)。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，【通常用于处理离线数据的存储】。: 高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。【实时数据和离线数据均支持】。
大数据最全架构设计之大数据架构（Lambda架构、Kappa架构），2024年最新不可多得的干货
2401_84160041的博客
05-11 654
分布式、面向列的开源数据库，适合于非结构化数据存储。【实时数据和离线数据均支持】。: 高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。：一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。：开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。
大数据技术4：Lambda和Kappa架构区别
何哥的博客
12-08 2589
Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。两者都有各自的优缺点，需要根据具体场景进行技术选型和设计权衡。
【大数据架构（3）】Lambda vs. Kappa Architecture-选择你需要的架构
hiliang521的博客
02-28 1408
【大数据架构（3）】Lambda vs. Kappa Architecture-选择你需要的架构
最新架构设计之大数据架构（Lambda架构、Kappa架构）(2)
2401_84166811的博客
05-04 617
大数据分层架构图：：(Hadoop分布式文件系统)，它可以用来存储海量数据，适合运行在通用硬件上的分布式文件系统(Distributed File System)。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，【通常用于处理离线数据的存储】。: 分布式、面向列的开源数据库，适合于非结构化数据存储。【实时数据和离线数据均支持】。
2024年大数据最新架构设计之大数据架构（Lambda架构、Kappa架构）(1)，砥砺前行
2401_84182636的博客
05-10 257
(Hadoop分布式文件系统)，它可以用来存储海量数据，适合运行在通用硬件上的分布式文件系统(Distributed File System)。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，【通常用于处理离线数据的存储】。: 高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;(2)在实时数据处理时，遇到大量不同的实时流进行关联时，非常依赖实时计算系统的能力，很可能因为数据流先后顺序问题，导致数据丢失。重新部署和迁移成本很高。
最全架构设计之大数据架构（Lambda架构、Kappa架构），面试大数据开发岗
2301_79099434的博客
05-16 564
(Hadoop分布式文件系统)，它可以用来存储海量数据，适合运行在通用硬件上的分布式文件系统(Distributed File System)。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，【通常用于处理离线数据的存储】。: 分布式、面向列的开源数据库，适合于非结构化数据存储。【实时数据和离线数据均支持】。: 高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;
大数据处理中的Lambda架构和Kappa架构
03-03
首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用...
系列 | 漫谈数仓第一篇NO.1 『​基础架构』
01-20
离线数据仓库到实时数据仓库，从lambda架构到kappa架构、再到混合架构。本文不再多再介绍，之前文章已有深入介绍，如有兴趣可看这篇文章： 02. 逻辑分层 数仓分层，一般按ods->dw->dm整体架构。不同的企业，不同的...
大数据平台常用组件-常见的大数据平台架构设计思路.pdf
12-24
⼆、lambda架构和kappa架构 ⽬前基本上所有的⼤数据架构都是基于lambda和kappa架构，不同公司在这两个架构模式上设计出符合该公司的数据体系架构。lambda 架构使开发⼈员能够构建⼤规模分布式数据处理系统。它具有...
liuhouer#knowledgeBook#基于Flink的实时数仓建设1
07-25
概述建设目的解决由于传统数据仓库数据时效性低解决不了的问题面向主题的集成的相对稳定的处理上一次批处理流程到当前的数据实时数仓架构Lambda架构Kappa架构实
HADOOP permission denied解决方法（如果你ssh已经确认没问题了）
KUKUKAKASSAN的博客
05-26 293
有另一种可能的报错，就是你的文件全都被锁住了。可以上slave机上看看，不光要看hadoop的目录，还要多点几层文件下去，看看是不是有小锁。并且我的ssh已经能让master登入slave了，这个本来就是没有问题的。网上各种方法都是让你去把ssh配置好，让权限chmod 755，但我怎么试都没有用。不需要重启，回master上。
设计新境界：大数据赋能UI的创新美学
assjiuyv的博客
05-25 670
大数据不仅改变了UI设计的方法和流程，更拓展了设计的美学边界。它赋予了设计师以全新的工具和视角，创造出既美观又实用的界面设计。随着大数据技术的不断进步，我们有理由相信，大数据将继续赋能UI设计，引领设计新境界的发展，为用户带来更加丰富和精彩的视觉体验。本文深入探讨了大数据如何赋能UI设计，推动创新美学的发展，并提供了具体的应用案例。希望这篇文章能够启发读者对大数据在UI设计中应用的深入思考，并认识到其在推动设计创新中的重要作用。
kafka-生产者发送消息&消费者消费消息
最新发布
小丁的博客
05-28 272
kafka-生产者发送消息&消费者消费消息。
基于机器学习预测未来的二氧化碳排放量（随机森林和XGBoost）
lhyandlwl的博客
05-24 1402
本文将使用Python对OWID提供的CO2排放数据集进行分析，并尝试构建机器学习模型来预测未来的CO2排放趋势。我们将探索数据集中的CO2排放情况，分析各国/地区的排放趋势，并利用机器学习算法来预测未来的CO2排放量。
大数据Lambda架构使用什么组件
03-24
Lambda架构使用的组件包括：批处理层（Batch Layer）、速度层（Speed Layer）和服务层（Serving Layer）。其中，批处理层主要使用Hadoop等大数据处理技术，速度层则使用Storm等实时数据处理技术，服务层则包括一系列数据库技术和Web应用程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值