Spark的详细概述

目录

spark是什么?

spark特点:

spark集群的体系结构

(a)Master:接收任务请求,分发任务

(b)Worker:本节点任务调度,资源管理。默认占用该节点所有资源

(c )Driver:客户端

(a)Spark-submit:

(b)spark-shell:

spark的生态圈

spark的部署模式:Spark独立服务器模式、基于YARN的Spark、基于Mesos的Spark。

3. 基于Mesos的Spark

spark的架构

Spark作业运行流程  Standalone模式运行流程

Spark核心数据集RDD

mapreduce和spark的区别


spark是什么?

 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目,Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。

spark的发展史

2009年,Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目,代码量非常少,属于轻量级的框架。

2010年,伯克利大学正式开源了Spark项目。

2013年,Spark成为了Apache基金会下的项目,进入高速发展期。第三方开发者贡献了大量的代码,活跃度非常高。

2014年,Spark以飞快的速度称为了Apache的顶级项目。

2015年~,Spark在国内IT行业变得愈发火爆,大量的公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架。

spark特点:

快速:

一般情况下,对于迭代次数较多的应用程序, Spark 程序在内存中的运行速度是 Hadoop MapReduce 运行速度的 100 多倍,在磁盘上的运行速度是 Hadoop MapReduce 运行速度的 10 多倍。

易用性:Spark支持使用ScalaPythonJavaR语言快速编写应用。同时Spark提供超过80高阶算子,使得编写并行应用程序变得容易并且可以在ScalaPythonR的交互模式下使用Spark

通用性:Spark可以与SQLStreaming及复杂的分析良好结合。Spark还有一系列的高级工具,包括Spark SQLMLlib(机器学习库)、GraphX(图计算)和Spark Streaming(流计算),并且支持在一个应用中同时使用这些组件。

随处运行:用户可以使用Spark的独立集群模式运行Spark,也可以在EC2(亚马逊弹性计算云)、Hadoop YARN或者Apache Mesos上运行Spark。并且可以从HDFSCassandraHBaseHiveTachyon和任何分布式文件系统读取数据。

兼容性

Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足。

spark最大的特点:基于内存

spark集群的体系结构

(1)结构

(a)Master:接收任务请求,分发任务
(b)Worker:本节点任务调度,资源管理。默认占用该节点所有资源
  • Spark对内存没有很好管理,容易出现OOM。Spark把内存管理交给应用程序。
  • Spark架构出现单点故障问题,通过HA解决。
  • 20
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
回答: Apache Spark是一个用于大规模数据处理的统一分析引擎,被许多大数据公司支持和应用。一些支持Spark的公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆等。Spark可以在数千个计算节点之间高效地伸缩计算,并支持在各种集群管理器上运行,包括Hadoop YARN、Apache Mesos以及Spark自带的独立调度器。Spark已经被应用于百度的大搜索、直达号、百度大数据等业务,阿里利用GraphX构建了大规模的图计算和图挖掘系统,腾讯拥有世界上已知最大的Spark集群,达到8000台的规模。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [大数据技术之Spark入门(一)概述](https://blog.csdn.net/BAO7988/article/details/103510705)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [大数据(十一)--Spark概述](https://blog.csdn.net/skisqibao/article/details/84130389)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值