Spark 1.6.1 源码分析

最新推荐文章于 2023-09-14 09:06:36 发布

weixin_30790841

最新推荐文章于 2023-09-14 09:06:36 发布

阅读量105

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/cenglinjinran/p/8476188.html

版权

由于gitbook网速不好，所以复制自https://zx150842.gitbooks.io/spark-1-6-1-source-code/content/，非原创，纯属搬运工，若作者要求，可删除。

这本书主要用来记录学习spark 1.6.1源码，希望通过阅读本书，对spark主要功能模块以及模块之间的调用有一个新的认识，对模块中核心的代码会附上个人的注释。由于个人能力有限，书中内容可能会有错误，还请指正。

转载于:https://www.cnblogs.com/cenglinjinran/p/8476188.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30790841

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

[Spark进阶]-- spark-1.6.x-小结

欢迎来到我的博客，一起探索代码里的世界！

08-07

1925

官方定义：spark是一个基于内存的分布式计算框架它会使得计算速度以及开发速度快！特点：One stack rule them all ! 一站解决所有问题热查询(Hive) 批处理(MapReduce) 实时流计算(Storm) 回顾MapReduce 的 Shuffle过程见图 hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...

spark源码包

11-18

spark2.0版本的源码，此版本为当前的稳定版本，而且此源码带有注释的

参与评论您还未登录，请先登录后发表或查看评论

Spark-1.6.0中的Sort Based Shuffle源码解读

weixin_30627341的博客

05-25

137

　　从Spark-1.2.0开始，Spark的Shuffle由Hash Based Shuffle升级成了Sort Based Shuffle。即Spark.shuffle.manager从Hash换成了Sort。不同形式的Shuffle逻辑主要是ShuffleManager的实现类不同。　　在org.apache.spark.SparkEnv类中： // Let t...

spark 1.6.0 core源码分析5 spark提交框架

wuzhilon88的专栏

07-08

726

从sparkSubmit脚本中可以看到现在spark提交任务都是是用： exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"首先来看main方法： def main(args: Array[String]): Unit = { val appArgs = new SparkSubmit

spark内存管理源码解读（基于Spark1.6）

yritssh的博客

09-18

276

在初始化SparkEnv时，可以看spark1.6支持两种内存管理方式： StaticMemoryManager（静态内存管理）和UnifiedMemoryManager（统一内存管理），spark1.6之前默认的是静态内存管理，spark1.6之后默认的管理机制是统一内存管理。具体源码如下： // 1.6之前默认静态内存管理，1.6之后默认统一内存管理 val useLegacyM...

spark 1.6.1 源码编译过程

天道酬勤

11-26

309

一、安装scala 2.10.4 解压配置环境变量即可二、编译spark源码源码下载地址： http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1.tgz 解压修改make-distribute.sh 文件，在这个位置加入以上内容：把原来的版本删掉，然后加上： VERSION=1.6.1 SCALA_VERSION=2.10.4 SPARK_HADOOP_VERSION=2.5.0-cdh5.3.6 SPARK_HIVE=1 修改p

Spark-mllib源码分析之逻辑回归(Logistic Regression)

JokerDuuuu的博客

01-20

3844

一个例子类关系图创建用LBFGS求解LR的类运行模型模型优化 1 损失与梯度的计算 2 LR目标函数梯度计算 3 LR正则项计算及梯度更新模型预测总结 1. 一个例子 // 0. LogisticRegressionWithLBFGSExample#main() def main(args: Array[String]): Unit = { val c

【spark原理系列】import spark.implicits._ 和import org.apache.spark.sql._原理示例源码分析

最新发布

wang2leee的博客

09-14

589

在Spark中，`Implicits`是一个隐式转换的工具类，它提供了一些隐式转换函数和隐式参数，用于方便地进行数据类型的自动转换和上下文环境的隐式传递。

Spark 定制版：014~Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

zisheng_wang_DATA的博客

06-19

2377

本讲内容：a. updateStateByKey解密 b. mapWithState解密注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上一讲中，我们从Spark Streaming源码解读Driver容错安全性：那么什么是Driver容错安全性呢？a. 从数据层面：ReceivedBlockTracker为整个Spark Streaming应用

zeppelin spark mysql_Zeppelin0.5.6使用spark解释器

weixin_29498577的博客

02-22

425

Zeppelin为0.5.6Zeppelin默认自带本地spark，可以不依赖任何集群，下载bin包，解压安装就可以使用。使用其他的spark集群在yarn模式下。配置：vi zeppelin-env.sh添加：export SPARK_HOME=/usr/crh/current/spark-clientexport SPARK_SUBMIT_OPTIONS="--driver-memory 51...

【DT-BigData】Spark-1.6.0.tgz

08-20

Spark-1.6.0.tgz

spark 1.6.0 core源码分析1 集群启动及任务提交过程

wuzhilon88的专栏

07-05

1333

spark版本号：1.6.0 spark源码分析目的是在解读源码的过程中记录一些重要的步骤，加深记忆，方便以后复习。 Standalone集群启动及任务提交过程详解正常启动及job提交过程如下： 1. 启动master 2. 启动worker 3. 客户端提交application到master 4. master发送LaunchExecutor指令给相应worker 5.

Spark通信机制：1)Spark1.3 vs Spark1.6源码分析

Javis486的专栏

01-06

1836

前一段时间看了较大基于Spark1.3的源码，其RPC通信机制是基于Akka的，但是在Spark1.6中，提供了2中实现方式：Netty(默认)、Akka 下面对比Spark1.3的Akka通信机制，看下Spark1.6中Master是如何与Worker进行通信。首先看下Spark1.6中的Master类 private[deploy] class Master( overri

Spark1.6.2 源码编译

nxcjh321的专栏

01-18

564

步骤1: 源码下载地址: http://spark.apache.org/downloads.html 下载1.6.2 版本源码 tar 包. 步骤二: 解压 tar 包, 进入,执行如下命令: export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m" mvn -Pyarn -Dhad

Spark1.6.0源码导入（IDEA）

purisuit_knowledge的专栏

05-03

979

下载源码导入点击file->open 选择以及下载好并解压过的spark-1.6.0包点击ok,idea 会自动安装下载文件完成后打开源码内容来自于王家林老师的IMF课程！

Spark1.6源码编译

宇的博客

01-08

2183

一、前言不论是spark还是hadoop、flume等，都建议新手在学习时自己进行手动编译，在第一次编译时肯定会遇到很多问题，大家要摆正心态，一定会有所收货。本文将中重点讲解apache版本和cdh版本下的spark编译。二、环境介绍操作系统：centos6.5(建议内存4G以上) jdk：1.7.0_67 spark版本：1.6.1 hadoop版本：2.

Spark源码阅读环境搭建

SunnyRivers

08-28

1028

前言对于Spark的应用，仅仅会使用期API来编程只能达到初级（助理）工程师或中级（熟练）工程师的水平，而学会调优则可以让你进阶为高级工程师。那么怎么才能成为顶尖的工程师呢？源码！准备工作（1）下载IDEA （2）配置Scala2.11 （3）配置Maven （4）下载Spark源码详细步骤（1）官网下载（2）打开IDEA，单击Import Project，并选择...

Spark源码阅读-中文注释

路人甲的博客

06-02

2020

源码放在github上 spark-1.6源码阅读: https://github.com/6high/spark-1.6 spark-2.2源码阅读: https://github.com/6high/spark-2.2

spark 1.6.0 core源码分析9 从简单例子看action

wuzhilon88的专栏

07-20

1037

这一节以reduce为例讲解action操作首先看submitJob方法，它将我们reduce中写的处理函数随JobSubmitted消息传递出去，因为每个分区都需要调用它进行计算；而resultHandler是指最后合并的方法，在每个task完成后，需要调用resultHandler将最终结果合并。所以它不需要随JobSubmitted消息传递，而是保存在JobWaiter中 org.

分析seata1.6.1源码各个包

05-26

Seata 1.6.1 是一个分布式事务解决方案，主要由以下几个包组成： 1. `client`: 客户端包，提供了...以上是 Seata 1.6.1 源码中主要的包，每个包都有其独立的职责，共同构成了 Seata 分布式事务解决方案的完整功能。