spark任务1

1.搭建spark开发环境

copy老师的eclipse压缩包,解压,打开就可以了,如下图能输出hello world就是开发环境弄好了。

在这里插入图片描述

1.1完成Wordcount示例

在这里插入图片描述

2 Spark架构

Spark是整个BDAS的核心。生态系统中的各个组件通过Spark来实现对分布式并行任务处理的程序支持。
在这里插入图片描述
参考链接:http://book.51cto.com/art/201502/466000.htm

3 spark工作原理

Master是由四大部分组成(RDD Graph,Scheduler,Block Tracker以及Shuffle Tracker)

启动RDD Graph就是DAG,它会提交给Task Scheduler任务调度器等待调度执行

具体执行时,Task Scheduler会把任务提交到Worker节点上

Block Tracker用于记录计算数据在Worker节点上的块信息

Shuffle Blocker用于记录RDD在计算过程中遇到Shuffle过程时会进行物化,Shuffle Tracker用于记录这些物化的RDD的存放信息

4 DAG、Stage、宽窄依赖

前言

stage作为是Spark应用程序的调度任务划分模块,对它的理解有助你提高编写Spark代码的编写,说到底想要玩好Spark,就要玩好RDD。

宽窄依赖

宽依赖:1.父类RDD的一个分区上的数据对应承接给同一个子类RDD的多个分区——即RDD是1对1,但分区是1对多。

        2.父类RDD的一个分区上的数据对应承接给多个子类RDD的一个或多个分区——即RDD是1对多,但分区是1对1,也可以是1对多。

窄依赖:
1.父类RDD的一个分区上的数据对应承接给唯一的子类RDD且分区也是一一对应——即RDD是1对1,分区也是1对1。

从宽窄依赖看shuffle:

宽依赖:有分区的操作,有shuffle,会落地磁盘。

窄依赖:无分区的操作,无shuffle,基于内存计算。

总结:在内存足够的前提下,减少使用有shuffle的算子,会提高代码运行效率。

DAG 划分stage的规则:

在运行时也就是触发action算子开始向前回溯后,遇到宽依赖就切分成一个stage。每一个stage包含一个或多个并行的task任务,

这里的task指的是组成一个task线程中的一部分,一条task线程会负责处理一个partiton中的一部分数据——即在程序运行时数据的划分是:一个stage由一个或多个partition组成,而其中每个partition的数据又是由多个task任务负责处理,且每个task任务会横向贯穿于多个stage当中。这样就使其形成了一套完整的内存迭代计算。

参考链接:https://blog.csdn.net/ly_Blogs/article/details/79783232

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值