心中永远的正能量

Spark已经定义好了一些基本的transformation 和 action的操作，下面我们yitanjiuji

@TOC从Spark Shuffle RDD到Shuffle Service on Yarn 源码阅读从Spark Shuffle RDD到Shuffle Service on Yarn 源码阅读涉及内容从Task执行，到RDD的读取，以及Shuffle数据的获取。Task体系ShuffleMapTask的读和写Shuffle Block的读和写External Shuffle Ser...

本图暂时只给了非常简单的OneToOneDependency的RDD依赖关系Discussstage根据dependency类型的划分，没有详细给出stage的依赖关系没有给出shuffle dependency没有给出

之前一直疑惑Shuffle过程中的读和写究竟是在哪里实现的，一直误解读和写都是在RDD的转换过程中实现的，但是追踪代码reduceByKey，却只找到了生成ShuffledRDD的过程，然后在ShuffledRDD中的compute函数中有读取过程，那么写入过程究竟在哪里呢？？PairRDDFunctionsdef combineByKey[C](createCombiner: V

http://www.cnblogs.com/cenyuhai/p/3779125.html最近在阅读源码，发现这篇博客内容非常好，有助于快速理解代码。1、什么是RDD？上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是Resilien

参考资料(reference)Introduction to Spark Internals http://files.meetup.com/3138542/dev-meetup-dec-2012.pptxResilient Distributed Datasets: A Fault-tolerant Abstraction for In-Memory Cluster Computin

Spark is a new distributed programming framework for analyzing large data sets.  It took me a few steps to get the system setup in Eclipse, so I thought I’d write them down.  Hopefully this post sav

RDD是Spark的核心gainiResilient Distributed Dataset• A list of partitions• A function for computing each split• A list of dependencies on other RDDs• Optionally, a Partitioner for key-value RDDs

用了eclipse好多年，希望可以把spark带入eclipse，然后阅读源码会方便些。~~~~(>_<)~~~~ 5555

集群配置 0.9版本spark-env.shexport JAVA_HOME=export SPARK_MASTER_IP=export SPARK_WORKER_CORES=export SPARK_WORKER_INSTANCES=export SPARK_WORKER_MEMORY=export SPARK_MASTER_PORT=export S

REPL 运行

从Spark Shuffle RDD到Shuffle Service on Yarn 源码阅读 二涉及内容从Task执行，到RDD的读取，以及Shuffle数据的获取。本章主要从第二部分入手Task体系一 ShuffleMapTask的读和写二 Shuffle Block的读和写三 External Shuffle Service的设计引子上一章完成了从ShuffledRDD到Shu...