【大数据技术图谱】分布式计算：Hadoop、Spark和Storm

VIP文章 于 2021-03-08 13:37:41 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： Architecture 大数据 文章标签： hadoop spark 大数据 分布式计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peachpi/article/details/114526608
版权

一、大数据与分布式计算（Distributed Computing）

有了大数据，就需要对其进行处理和分析，分析主要分为五个方面：可视化分析（Analytic Visualization）、数据挖掘算法（Date Mining Algorithms）、预测性分析能力（Predictive Analytic Capabilities）、语义引擎（Semantic Engines）和数据质量管理（Data Quality Management）。

对于如何处理大数据，计算机科学界有两大方向：第一个方向是集中式计算，第二个方向是分布式计算。

大数据的技术基础：MapReduce、Google File System和BigTable

分布式计算最初的技术起源都来自于Google的三篇论文：MapReduce、GFS（Google File System）和BigTable，随后逐步发展成为Hadoop，Spark和Storm三大主流的分布式计算系统。

Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop。后来，Hadoop被贡献给了Apache基金会，成为了Apache基金会的开源项目。Doug Cutting也成为Apache基金会的主席，主持Hadoop的开发工作。

Hadoop采

最低0.47元/天 解锁文章
peachpi
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop与Spark 肖睿+PDF
08-18
大数据技术让我们以一种靠前的方式，对海量数据进行分析，从中获得有巨大价值的产品和服务，很终形成变革之力。本书围绕Hadoop和Spark两个主流大数据技术进行讲解，主要内容包括Hadoop环境配置、Hadoop分布式文件系统（HDFS）、Hadoop分布式计算框架MapReduce、Hadoop资源调度框架YARN与Hadoop新特性、Hadoop分布式数据库HBase、数据仓库Hive、大数据离线处理辅助系统、Spark Core、Spark SQL、Spark Streaming等知识。本书紧密结合实际应用，运用大量案例说明和实践，提炼含金量十足的开发经验。另外，本书配以多元的学习资源和支持服务，包括视频教程、案例素材下载、学习交流社区、讨论组等学习内容， 为读者带来多方面的学习体验。
Hadoop与Storm的对比
lvlei19911108的博客
09-23 394
1、Hadoop上运行的是MapReduce jobs，而在Storm上运行的是topology。2、 Hadoop使用磁盘作为中间交换的介质，而storm的数据是一直在内存中流转。3、hadoop的数据源是HDFS上某文件夹下已经存在的TB级的大数据，待处理的数据是相对不变的；而Storm的数据源是实时新增的B或KB级的小数据，处理的数据是支持增加的。4、一个MapReduce job数据处理完...
云计算（1.2）Google云计算三大核心技术 - 分布式数据处理MapReduce
key_768的博客
02-18 3379
前言 GFS解决了Google的大数据存储问题 针对大数据进行计算并获得预期结果的技术就是MapReduce Google的MapReduce不开源 后面可以通过使用Hadoop MapReduce深入理解 MapReduce 对于Google搜索，一次简单的搜索也就是一个请求，在云端需要大量的计算最终返回结果 如何进行分布式计算？ 如何进行并行计算？ 如何处理分布式计算中的错误？ Googl...
分布式计算、云计算与大数据
weixin_45956703的博客
12-03 1761
分布式计算 定义： 分布式计算是研究把一个需要非常巨大的计算能力解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把各部分的计算结果合并起来得到的最终成果（分而治之）。 分布式计算的优缺点： 优点： 1、低廉的计算机价格和网络访问的可用性 2、资源共享 3、可伸缩性 4、容错性 缺点： 1、多点故障 2、安全性低 分布式计算的相关形式： 1、单机计算：利用单台计算机进行计算，...
深入浅出：大妈也能看懂的大数据分布式计算
Coby's Blog
06-05 4836
本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学...
Hadoop，Spark和Storm
fangwc的专栏
04-14 570
Hadoop，Spark和Storm 由于Google没有开源Google分布式计算模型的技术实现，所以其他互联网公司只能根据Google三篇技术论文中的相关原理，搭建自己的分布式计算系统。 Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop。后来，Hadoop被贡献给了Apache基金会，成
分布式计算、云计算与大数据 第一章
QAQTLL的博客
12-03 2031
分布式计算、云计算与大数据 第一章分布式计算的概念定义分布式计算的优缺点分布式计算的相关计算形式分布式系统概述分布式系统的定义分布式系统的特征分布式计算的基础技术进程间通信IPC程序接口原型时间同步死锁和超时事件状态图 分布式计算的概念 定义 分布式计算是一门计算机科学，主要研究对象是分布式系统。 分布式计算的优缺点 优点： 1、可靠性（容错） ： 分布式计算系统中的一个重要的优点是可靠性。一台服...
大数据分布式计算组件：Hadoop丨Storm丨Spark
博文视点（北京）官方博客
08-03 2082
“工欲善其事，必先利其器”，具有特定功能的可复用组件正是计算机领域中的利器。在大数据的浪潮下，许多用于处理大数据的组件应运而生，分别应用在“数据传输”“数据存储”“数据计算”以及“数据展示”的环节中。 本文将介绍“数据计算”环节中常用的三种分布式计算组件——Hadoop、Storm以及Spark。 当前的高性能PC机、中型机等机器在处理海量数据时，其计算能力、内存容量等指标都远远无法达到要...
处理大数据需要哪些技术
中琛魔方大数据
08-27 2667
　　大数据之所以能够从概念走向落地，说到底还是因为大数据处理技术的成熟，面对海量的数据，在有限的硬件条件下，以低成本满足大数据处理的各种实际需求。那么具体处理大数据需要哪些技术，今天我们来简单介绍一下大数据核心技术。 　　大数据处理，其实最主要的支撑技术就是分布式和并行计算、大数据云以及大数据内存计算。 　　大数据的分布式和并行计算 　　分布式计算，将复杂任务分解成子任务、同时执行单独子任务的方法，所以称之为分布式并行计算。分布式计算比传统计算更快捷、更高效，可在有限的时间内处理...
大数据-分布式计算
yr123456yr的博客
02-28 1445
分布式计算： 集中式计算（通过不断增加处理器的数量来增强单个计算机的计算能力） 分布式计算（把一组计算机通过网络相互连接组成分散系统，然后将需要处理的大量数据分散成多个部分，交由分散系统内的计算机组同时计算，最后将计算结果合并得到最终结果） Google（非开源）： MapReduce 分布式计算框架 GFS（Google File System） 分布式文件系统 BigTabl...
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
02-25
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了...
大数据框架学习：从Hadoop到Spark
02-25
Hadoop实现了在行业标准的服务器上进行可靠、可缩放的分布式计算，让你能够以较低的预算跟踪数PB以上的数据，而不必需要超级计算机和其他昂贵的专门硬件。Hadoop还能够从单台服务器扩展到数千台计算机，检测和处理...
超越 Hadoop：Spark 和 Storm-研究论文
06-10
在 Hadoop 作为大数据分析的开源框架出现十多年之后，它的许多独立优势已经彻底改变了数据的快速处理。... 本文重点介绍了基本 Hadoop 架构带来的挑战，并与 Spark 和 Storm 框架提供的补救措施进行了比较。
reactor和proactor模式的比较
大头客的专栏
11-30 3879
在研究Java AIO的时候理解到reactor和proactor模式，顺便研究了一下。这里面会提到blokcing/non-blocking, synchronous/asynchronous的对比，要仔细体会才行。如果实现一个高性能的服务器端，比如web server，有以下几种方式：详细的可以参考http://www.cs.wustl.edu/~schmidt/PDF/Reactor1-93.pdf1、Non-blocking I/O solutionOne method for handling I
企业架构与SOA
大头客的专栏
02-11 1115
也经常写架构设计文档，但是以前都是采用的野路子，参考别人的经验，然后自己摸索出一些规律，没有怎么正儿八经去遵循某个理论体系。理论来源有两个：一本薄薄的英文原版书，书名好像就是软件架构；另外就是RUP了。我记得2000年前，还不怎么提什么架构设计，到了2000年以后，这个概念慢慢开始火起来。最近，在同时给业务部门和技术部门写解决方案和架构文档，又重新产生了一些疑问，正巧接触到一些企业架构理论方面的知识，觉得跟自己以前的实践还是有一些印证的。正好也学习学习：了解企业架构，可以从下面这篇经典的文章入手，里面将四种
在做Event-Driven SOA架构时的一些记录
大头客的专栏
09-29 1002
 参考资料：Combining Service-Oriented Architecture and Event-Driven Architecture using an Enterprise Service Bushttp://www.ibm.com/developerworks/library/ws-soa-eda-esb/#Resources 个人觉得这篇短文非常言简意赅，通俗
REST与Web架构
大头客的专栏
02-17 892
最近在研究REST，不得不看Fielding的那篇博士论文《Architectural Styles and the Design of Network-based Software Architectures》，在转入正文之前，发现他对架构是什么的总结也很不错：Software architecture research investigates methods for determining how best to partition a system, how components identify
FIX router design
大头客的专栏
12-05 747
1. How to do authentication?http://www.quickfixj.org/confluence/display/qfj/Implementing+Custom+LogonsWe are using QFJ to run the Marketcetera Exchange Simulator that accepts many incoming connections (although we are not doing authentication). If it h
大数据开发工程师系列:hadoop spark
最新发布
07-23
### 回答1： 大数据开发工程师系列是指专门从事大数据开发的一类职业。Hadoop和Spark是大数据领域中最受欢迎的两个开源框架。 Hadoop是一个分布式计算框架，用于处理大规模数据集的分布式存储和计算。Hadoop的核心是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。HDFS将数据分布存储在集群的多个节点上，MapReduce可以并行处理这些分布式数据。Hadoop具有高可靠性、高扩展性和高容错性的特点，并且还提供了许多其他工具和库，如Hive、Pig和HBase等。 Spark是一个快速、通用的大数据处理引擎，可以在多种数据源上进行高效的分布式计算。相比于Hadoop的MapReduce，Spark具有更快的数据处理速度和更强的扩展性。Spark提供了一个称为弹性分布式数据集（RDD）的抽象，可以在内存中高效地处理大规模数据集。此外，Spark还提供了许多高级组件和库，如Spark SQL、Spark Streaming和MLlib等，用于处理结构化数据、流式数据和机器学习。 作为大数据开发工程师，掌握Hadoop和Spark是非常重要的。使用Hadoop可以处理海量数据，并且具有高可靠性和容错性。而Spark则能够快速高效地处理大规模数据，并提供了更多的数据处理和分析功能。 大数据开发工程师需要熟悉Hadoop和Spark的使用和调优技巧，以及相关的编程语言和工具，如Java、Scala和Python。他们需要了解数据处理的算法和模型，并能够设计和实现高效的分布式计算方案。此外，大数据开发工程师还需要具备良好的沟通能力和团队合作能力，能够与数据科学家和业务团队紧密合作，共同解决实际问题。 总之，大数据开发工程师系列是一个专门从事大数据开发的职业群体。而Hadoop和Spark则是这个职业群体中最重要的两个工具，他们分别用于大规模数据处理和分布式计算。掌握Hadoop和Spark的使用和优化技巧，是成为一名优秀的大数据开发工程师的关键能力。 ### 回答2： 大数据开发工程师系列主要涉及到两个重要的技术：Hadoop和Spark。 Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模数据集。它通过将数据分散存储在集群中的多个节点上，并在节点之间进行数据通信和计算，实现了数据的并行处理和高可靠性。Hadoop的核心工具是HDFS（Hadoop分布式文件系统）和MapReduce（一种用于分布式计算的编程模型）。HDFS用于将数据分布式存储在集群中，而MapReduce则是用于分布式计算的框架，通过将计算任务分解成多个小任务并在各个节点上并行执行，大大提高了数据处理的效率和性能。 Spark是当前最受欢迎的大数据计算框架之一，也是一个开源项目。与Hadoop相比，Spark具有更快的数据处理速度和更强大的功能。Spark提供了一个可扩展的分布式数据处理框架，支持数据处理、机器学习、图计算等多种大数据应用场景。与传统的基于磁盘的计算框架相比，Spark利用内存计算的优势，可以快速地对大规模数据进行处理和分析。此外，Spark还提供了丰富的API和开发工具，使开发人员可以更轻松地构建和调试大数据应用程序。 作为大数据开发工程师，掌握Hadoop和Spark是必不可少的。熟悉Hadoop的使用和原理，能够有效地存储和处理大规模数据集。而对于Spark的掌握，则可以提高数据处理的速度和效率，使得大数据分析和挖掘更加容易实现。因此，大数据开发工程师需要具备对Hadoop和Spark的深入理解和熟练应用，同时还需要具备数据分析、算法和编程等多方面的技能，以应对复杂的大数据挑战。 ### 回答3： 大数据开发工程师是一个专注于处理大数据的职位，主要负责使用各种工具和技术来处理和分析大规模的数据集。 Hadoop和Spark是目前在大数据处理领域中非常流行的两个开源工具。Hadoop是一个分布式系统基础架构，可以在集群中存储和处理大规模数据。它的核心是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。HDFS将数据分散存储在集群的不同节点上，而MapReduce模型则提供了一种并行处理数据的方式。大数据开发工程师需要熟悉Hadoop的架构和命令行工具，能够编写MapReduce程序来处理数据。 Spark是一个快速和通用的大数据处理引擎，可以在大规模集群上执行数据处理任务。它拥有比Hadoop更高的性能和更丰富的功能。Spark提供了强大的机器学习、图计算和流处理等功能。大数据开发工程师需要熟悉Spark的API和编程模型，能够使用Spark的各种组建和工具进行数据处理和分析。 作为大数据开发工程师，掌握Hadoop和Spark是非常重要的。使用Hadoop和Spark可以有效地处理大规模数据，提取有价值的信息。大数据开发工程师通过编写和优化MapReduce程序来实现数据处理的需求，同时也能利用Spark提供的机器学习和流处理等功能来进行更复杂的数据分析。通过合理地使用Hadoop和Spark，大数据开发工程师可以减少数据处理的时间和成本，提高数据处理的效率和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值