- 博客(7)
- 收藏
- 关注
RSS订阅原创 SparkRpc通信源码分析（简单易懂的源码分析）
本文我们介绍一下Spark的Rpc网络框架，Spark框架当中很多地方都涉及网络通信，比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等，在Spark0.x.x与Spark 1.x.x版本中组件之间的消息通信都借助于Akka，但是在Spark2.0版本中，基于Akka实现的Rpc被废弃掉，2.x和之后都使用的是Netty。本文介绍的版本是Spark2.3SparkRpc整体架构图我们先拿一个混入RpcEndpoint的组件Master
2021-07-16 19:20:12
573
3
原创 MapReduce核心Reduce Task源码分析
上文，已经对map的输入和输出做了源码分析，相信已经对map task的流程也都已经十分了解，现在，来分析一下Reduce的输入，因为输入是直接输出到HDFS了，这里不多做阐述。Reduce Task分为四种，分别为Job-setup Task，Job-cleanup Task， Task-cleanup Task和Reduce Task，这里分析的是最后的普通的Reduce TaskRedu...
2020-03-02 18:15:07
270
原创 MapReduce核心源码分析之MapTask OutPut（有对环形缓冲区的详细介绍以及详细的环形缓冲区的源码分析，让你对map输出阶段不在疑惑）
前文已经分析了Map Task的输入，这次我们来分析较为复杂的输出，看看Map Task的输出到底做了哪些事情，分析完之后，将会对我们学习MapReduce有很大的帮助Map Task OutPut源码分析这里依旧用的Hadoop的版本为2.7.2 ，工具是IDEA由于上文我们已经有输入的分析，所以，这里直接找到MatpTask的run方法我们直接往下看 ， private <I...
2020-03-01 15:29:47
1082
5
原创 MapReduce核心源码分析之MapTask Input（都可以自己独立走一遍源码，并对MapReduce Map的Input有底层实现的了解）
经过上篇文章的源码分析，我们已经大致知道了客户端提交任务都做了什么，本篇是来继续分析，Map Task，看完Map Task的核心源码，我相信会对以后的学习产生很大的帮助我这里工具是IDEA，Hadoop是2.7.2,首先，先来分析简单的Map的输入Input过程,后面再来分析OutPut过程Map Input核心源码分析前面可以知道，在集群环境运行，我们的客户端会联系ResourceM...
2020-02-28 19:14:37
287
2
原创 MapReduce核心Client源码分析（看完都可以自己跟着走一遍源码）
我们先来跟着走一遍源码，等对源码步骤熟悉之后，下面再来做总结，相信如果完整的跟着走一遍源码，绝对会对MapReduce有更深入的理解我这里用的工具是IDEA ，Hadoop版本是2.7.2，下面就开始源码分析Client 源码分析首先，我们先观察，发现客户端提交作业是在job的waitForCompletion方法，接下来我们进去看一看public boolean waitForCompl...
2020-02-27 18:56:40
1843
1
原创 Hadoop HDFS完全分布式环境搭建以及技术详解（保证没接触过大数据的小白看完就能独自把集群搭起来，并对HDFS有详细的认知）
**读懂本篇文章，能让小白快速入门，并且能够搭建完全分布式的集群，以及能对hdoop hdfs产生详细的认知，对以后的学习有很大的帮助**我们先来了解hadoop的hdfs基本概念，熟知基本概念，在搭环境时能够能加得心应手。Hadoop基本介绍hadoop是一个框架： hadoop的本质其实就是一系列功能模块儿组成的框架，每个模块分别负责hadoop的一些功能，如HDFS负责大数据的存...
2020-02-26 18:48:29
3892
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人