- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark 源码阅读 02：从 Spark-Submit 到 Driver 启动
Spark 版本：3.0.0找到入口理解一个项目最好的切入点就是找到一个入口。比如跟 Spark 的交互方式，如何把任务提交到 Spark 集群。通常使用 spark-submit 脚本来提交任务。它在 Spark 源码的 bin 目录下bin文件夹中在存放了 spark-shell 等其他入口方式。我们来看一下 spark-submit 的具体内容。可以看到是一个shell脚本，加载的类是 org.apache.spark.deploy.SparkSubmit。 $@ 把执行的参数
2021-08-29 21:00:58
246
原创 Spark源码阅读01：环境搭建
源码阅读环境搭建我这周都在抽时间尝试把Spark源码编译成功。刚开始我选择的版本是 2.3+ 发现怎么都编译不成功。遇到的一个问题是 scala-maven-plugin compile failed, 查版本号，修改版本后尝试未果。选早一点的版本的想法是说，阅读源码可能会少一些，毕竟版本越高，代码越庞大和复杂。但是早期的版本已经是过去式了，依赖的其他包库也会修改和引入新的特性，编译失败卡的时间太久了，不值得投入，遂直接拥抱 Spark 3.0编译源码去 github 上克隆一份代码，切换到你想看的
2021-08-29 20:37:20
194
原创 Spark 架构剖析：一个任务是怎么运行的
本文从一段代码开始，拆解Spark背后的运行机制Spark 架构和相关术语在开始拆解前，我们先来看一下Spark的架构和一些术语。Spark 遵从分布式系统的主从架构，一个 master 节点作为协调，与一系列的 worker 节点沟通，worker 节点之间也可以互相通信。每个 worker 节点包含一个或者多个 executor，一个 executor 中又包含多个 task。task 是真正实现并行计算的最小工作单元。从上图可见主要有以下几个组建：DriverSpark Cont.
2021-08-06 15:22:23
334
原创 Python 可迭代, 迭代器, 生成器的详细知识整理
你是否分清楚过 iterable, iterator, generator? 他们分别都是什么, 互相之间存在什么关系, 都具有哪些用途和如何创建? 本文一一详解.Iterable 可迭代任何可以循环遍历的对象都是 iterable, 简单来说, 可以被用在 for loop 中的对象均是, 如:所有的序列类型都是iterable字符串 str列表 list元祖 tuple字节对象 bytes数组 array.array内存视图 memoryview字节数组 bytearray 等等
2021-06-14 20:31:07
191
原创 Python魔法方法一览
在 Python 的学习和使用过程中, 你一定碰到过一些 特殊方法, 它们开头和结尾都有两条下划线, 也叫魔法方法 (Magic method), 或者 Dunder method (double under method).例如:>>> dir(int)['__abs__', '__add__', '__and__', '__bool__', '__ceil__', '__len__', '__delattr__', '__dir__', '__divmod__', '__d
2021-06-11 16:13:33
259
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人