大数据计算框架Hadoop, Spark和MPI

最新推荐文章于 2024-07-18 20:56:51 发布
最新推荐文章于 2024-07-18 20:56:51 发布
阅读量1.4w 收藏 31
点赞数 2
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/claire7/article/details/46848757
版权
本文概述了大数据计算框架Hadoop、Spark和MPI的特点及应用场景。Hadoop通过HDFS提供高可靠存储，YARN承载各种计算框架，但存在延迟高的局限。Spark作为新兴引擎，以分布式内存抽象RDD为核心，支持快速迭代计算，弥补了Hadoop的不足。MPI则主要用于高性能计算中的并行通信。
摘要由CSDN通过智能技术生成

今天做题，其中一道是

请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景。

一直想对这些大数据计算框架总结一下，只可惜太懒，一直拖着。今天就借这个机会好好学习一下。

一张表

名称 发起者 语言 简介 特点 适用场景
Hadoop Yahoo工程师，Apache基金会 Java MapReduce分布式计算框架+HDFS分布式文件系统（GFS）+HBase数据存储系统(BigTable)
数据分布式存储在磁盘各个节点，计算时各个节点读取存储在自己节点的数据进行处理		 高可靠（Hadoop按位存储）
高扩展（在可用的计算机集群间分配数据并完成计算任务，可以方便的扩展到数千个节点上）
高效（能在节点间动态的移动数据，保证节点的平衡）计算向存储迁移
高容错，通过数据备份应对节点失效		 离线大批量数据处理；
不需要多次迭代
Spark UC Berkley AMP Lab，Apache基金会 Scala 基于内存计算的并行计算框架
使用内存来存储数据，RDD(弹性分布式数据集)
用户可以指定存储策略，当内存不够的时候可以放到磁盘上		 轻量级快速处理（减少磁盘IO，用RDD在内存中存储数据，需要持久化时才到磁盘）
最低0.47元/天 解锁文章
Claire_Bear7
关注
专栏目录
大数据技术之 Hadoop（入门详解）
qq_45115959的博客
08-11 1218
各个模块分开启动/停止（配置 ssh 是前提）常用整体启动/停止 HDFS整体启动/停止 YARN各个服务组件逐一启动/停止分别启动/停止 HDFS 组件启动/停止 YARN。
大数据计算技术(上）——Hadoop篇
qingzhimo0404的博客
01-04 480
大数据计算技术课程课后复习笔记
hadoop之简单计算
~长风破浪~
07-08 524
配置主机名 nn：vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop001:9000</value> </property&g...
spark 与 mpi 关系
weixin_30699741的博客
01-08 334
https://www.dursi.ca/post/hpc-is-dying-and-mpi-is-killing-it.html：这算是对MPI的重炮轰击了！ https://www.dursi.ca/post/in-praise-of-mpi-collectives-and-mpi-io.html https://stackoverflow.com/questions/10237443/...
Hadoop-架构、原理、实时计算和离线计算
BoringError的博客
04-23 5701
后端系统通常会有一些需要超大数据集分析的业务场景，比如A/B Test、埋点数据分析、大数据关联图谱等，此时需要存储/分析的数据量以GB甚至是TB作为单位，由于数据量太大，MySQL进行分库分表后虽然可以解决数据存储问题，但是无法做到复杂数据分析及查询，大数据技术就应用在这种业务场景当中。作为一名后端开发者，需要对不同的业务场景选择合适的技术，学习入门大数据技术是有必要的。
大数据开发之Hadoop
最新发布
weixin_74292291的博客
07-18 998
Hadoop的发展，Hadoop的三个功能组件：一、HDFS 分布式文件系统，二、MapReduce 分布式计算，三、Yarn 分布式资源调度。提交MapReduce程序至YARN运行
大数据技术分享 Spark技术讲座 Spark = MPI Interface 共25页.pdf
07-18
- Apache Spark是一个开源的大规模数据处理框架，旨在提供比Hadoop MapReduce更快的数据处理速度。 - 它支持多种编程语言（如Scala、Java、Python等），并且拥有丰富的高级工具集，如SQL查询、流处理和机器学习等...
Hadoop、Spark、Kylin...你知道大数据框架名字背后的故事吗？
大数据Spark教程
12-21 447
对软件命名并不是一件容易的事情，名字要朗朗上口，易于记忆，既不能天马行空，又要代表软件本身的功能和创新。本文将例数几款大数据框架及其创始背后的故事。 Hadoop：最具童心 2004年，Apache Hadoop（以下简称Hadoop）的创始人Doug Cutting和Mike Cafarella受MapReduce编程模型和Google File System等论文的启发，对论文中提及的思想...
从Hadoop到Spark、Flink，大数据处理框架十年激荡发展史
大数据基础入门教程
12-23 383
当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。 什么是大数据？ 大数据，顾名思义，就是拥有庞大体量的数据。关于什么是大数据，如何定义大数据，如何使用大数据等...
从Hadoop到Spark和Flink，大数据处理框架十年激荡发展史
大数据Spark教程
12-06 569
当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。 来源：Carlos Muza on Unsplash 什么是大数据？ 大数据，顾名思义，就是拥有庞大体...
站在巨人的肩膀：一文玩转MPI/Spark/Hadoop集群搭建
aiguiru
06-03 290
1.软件准备 MPICH：MPICH官网 JDK:JDK官网 Hadoop官网：HADOOP官网 Spark官网：SPARK官网 Scala官网：SCALA官网 本文安装mpich-3.3.2,jdk-1.8.0-211,hadoop-2.7.3,spark-2.4.4,scala-11.12, 注意事项 Spark与Scala版本有对应关系，参考版本对应 不要在root下安装 安装位置选择/usr/local/目录 设置环境变量：$ vi ~/.profile，并$ source ~/.profile
大数据hadoop集群运算
hjt66666的博客
12-02 657
一、集群搭建 1）安装操作系统以及免密环境 所用工具，如图1所示： 图1 vm虚拟机和镜像文件 [1]新建虚拟机，点击下一步，如图1-1-1所示。 图1-1-1 新建虚拟机 [2]选择“稍后安装操作系统”，点击下一步，如图1-1-2所示。 图1-1-2 手动安装Linux [3]选择“客户机操作系统“为Linux，版本选择CentOS8 64位 如图1-1-3所示。 图1-1-3 选择操作系统 [4]命名虚拟机 如图1-1-4所示。 图1-1-4 命名虚拟机 [5]指定磁盘容量，使用默认就行
算法研发工作中对于MPI和Spark的一些困惑？
木东的博客
10-11 2349
我们组主要从事互联网广告中ML,DM相关算法的研发工作，由于mahout,weka之类很难适用于目前的工作场景或者说得到比较好的结果，所以主要的工作内容是基于业务数据研发新的模型（从样本数据的清洗和采样开始，工业界嘛，你懂的），并且最终提供可以实现的版本，支持公司业务。现在主要是用SAS、R、Matlab建模，然后通过C++，BLAS和MPI等实现，目前在生产环境中需要支持一个小型的MPI集群（本
转：大数据计算框架mpi、hadoop、spark的区别
roselily008的博客
02-21 561
https://blog.csdn.net/claire7/article/details/46848757
大数据技术之Hadoop（一）三大框架
five小点心的博客
02-07 6098
Hadoop三大框架：HDFS、MapReduce、Yarn
Hadoop, Spark, MPI 三种计算框架的特点以及分别适用于什么样的场景
稚枭天卓
07-14 8032
1,Hadoop 采用HDFS作为分布文件存储，有效的解决了分布式平台下文件分割问题；Hadoop 是离线计算，基于磁盘，每次运算之后的结果需要存储在HDFS里面，下次再用的话，还需要读出来进行一次计算，磁盘IO开销比较大。底层基于HDFS存储文件系统。适用于离线数据处理和不需要多次迭代计算的场景,并且Hadoop只有Map和Reduce两种接口，相对于Spark来说太少了。Mapreduce算法
大规模分布式系统概念介绍
bingshanzhu的专栏
10-21 2953
几种计算概念 1、分布式计算 分布式计算：研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 分布式计算比起其它算法具有以下几个优点：稀有资源可以共享；通过分布式计算可以在多台计算机上平衡计算负载；可以把程序放在最适合运行它的计算机上，其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。 ...
大数据之Hadoop图解概述
热门推荐
努力让自己发光，对的人才能迎着光而来
10-22 2万+
文章目录1 Hadoop是什么2 Hadoop 发展历史（了解）3 Hadoop 三大发行版本（了解）3.1 Apache Hadoop（常用）3.2 Cloudera Hadoop3.3 Hortonworks Hadoop4 Hadoop 优势（4 高）5 Hadoop 组成（面试重点）5.1 HDFS 架构概述5.2 YARN 架构概述5.3 MapReduce 架构概述5.4 HDFS、YARN、MapReduce 三者关系6 大数据技术生态体系7 推荐系统框架图 1 Hadoop是什么 1）Had
大数据面试精华：Hadoop, Spark与TCP详解及灯泡问题解析
本文档是一份针对大数据技术的面试题集，主要涵盖了Hadoop、Spark和MPI计算框架的对比分析，网络通信中的TCP连接建立过程，以及算法设计问题。以下是每个部分的详细解读： 1. **Hadoop、Spark和MPI的特点及适用场景...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值