Spark系列修炼---入门笔记28

核心内容: 1、Spark的Shuffle机制Shuffle是什么? Shuffle中文翻译为“洗牌”,需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算,Shuffle是MapReduce框架中的一个特定的阶段,介于Map阶段和Reduce阶段之间,当...

2016-12-30 17:31:23

阅读数:1407

评论数:0

Spark系列修炼---入门笔记27

核心内容: 1、Spark中的pipline的再度思考 2、Spark中的窄依赖和宽依赖的物理执行内幕 3、Spark中的Job提交流程今天又开始了我的Spark,好的,进入正题……. 回忆一下经典的WordCount程序:package com.appache.spark.appimpo...

2016-12-26 16:39:49

阅读数:1051

评论数:0

Spark系列修炼---入门笔记26

核心内容: 1、Spark中的RDD的依赖关系 2、RDD依赖关系下的数据流视图 3、Spark中的作业调度机制今天是Spark第二小阶段的第2次课,整体来说基本上都掌握了,在2016年的最后10天了,希望Spark可以多学点东西,OK,进入本次博客的正题! 由于RDD是粗粒度的操作数据集...

2016-12-22 20:24:05

阅读数:1117

评论数:0

Spark系列修炼---入门笔记25

核心内容: 1、Spark的体系结构详解 3、Spark Job的逻辑视图和物理视图解析今天开始进入Spark的第二个小阶段了,坚持、坚持、在坚持! OK,今天主要是学习Spark的体系结构,好的,先用一张图描绘一下Spark的主从式体系结构: 上面的这张图是我自己画的,我又从网上重新...

2016-12-20 21:32:26

阅读数:1278

评论数:1

Spark系列修炼---入门笔记24

核心内容: 1、Spark中基础Top N算法实战 2、Spark中分组Top N算法实战 3、排序算法RangePartitioner内幕解密最近周围的人都在陆陆续续的找工作,本来之前也有一些小的躁动、有点小发慌,但是随着Hadoop1.0、Hadoop2.0与Yarn、Hbase、Hiv...

2016-12-17 17:22:21

阅读数:1525

评论数:0

Spark系列修炼---入门笔记23

核心内容: 1、Spark中的基础排序算法 2、Spark中的二次排序算法 3、Spark中排序的相关思考 好的,今天我们进入Spark的二次排序,当然我们还是先看最简单的基础排序算法…… 排序的地位:排序非常重要,但是排序不是最常用的,一般超过3维的排序可能性不算太大,其实超过二次...

2016-12-16 20:45:39

阅读数:1547

评论数:0

Spark系列修炼---入门笔记22

核心内容: 1、Spark中的持久化 2、Spark中的广播 3、Spark中的累加器OK,其实这篇博客应该是昨天就完成的,所以自我反省一下,最近这段时间任务比较多,也在一直准备数据结构的事情,估计还有6天左右数据结构与Spark就开始并行学习了,其实当时学完C语言就应该学习数据结构的,呵呵...

2016-12-09 18:15:17

阅读数:2318

评论数:0

Spark系列修炼---入门笔记21

核心内容: 1、Spark中常用的Transformation算子: map、filter、flatMap、reduceByKey、groupByKey、join、cogroup详解 2、Spark中常用的Action算子:reduce、collect、foreach、savaAsTextF...

2016-12-06 20:17:49

阅读数:2144

评论数:0

Spark系列修炼---入门笔记20

1、reduceByKey到底是Action还是Transformation的讨论最近在学习Spark的时候,对reduceByKey是Action还是Transformation产生了迷惑!最终联系到了《深入理解Spark》的作者耿嘉安。 最终得到了作者的回复:

2016-12-05 13:29:41

阅读数:1944

评论数:0

Spark系列修炼---入门笔记19

核心内容: 1、RDD的一个实战案例OK,今天是2016年12月4日了,12月份注定不会太轻松,很多事情就像是多线程一样并行的进行执行,好的,进入本次博客的正题! RDD本身有3种操作方式: ①基本的Transformation(数据状态的转换即所谓的算子) 如:map、flatMap、t...

2016-12-04 17:51:33

阅读数:2911

评论数:2

Spark系列修炼---入门笔记18

核心内容: 1、Spark当中常用的3种创建RDD的方式 2、自定义分片个数(并行度)今天又学习了一讲Spark(Spark本身就是一个计算框架,就是一个JVM计算框架而已),2016年12月份注定不平凡了,希望在2016年的最后一个月份多做一些有意义的事情,毕业在即…… 好了,进入文章的正...

2016-12-03 21:01:08

阅读数:2020

评论数:0

Spark系列修炼---入门笔记17

核心内容: 1、RDD入门笔记1今天又迈出了一步—涉猎RDD,好吧,进入文章的正题:RDD是一个容错的,并行的数据结构,可以控制将数据存储到磁盘或内存中,能够获取数据的分区。通常数据处理的模型包括:迭代计算、关系查询、MapReduce、流失处理等。Hadoop采用MapReduce模型,Sto...

2016-12-02 15:14:45

阅读数:1885

评论数:0

Spark系列修炼---入门笔记16

核心内容: 1、Hadoop1.0,Hadoop2.0,Spark的作业运行机制图解MapReduce程序的编写流程: Hadoop1.0的作业运行机制: Hadoop2.0作业运行机制: Spark的作业运行机制: OK!

2016-11-30 15:51:51

阅读数:1513

评论数:0

Spark系列修炼---入门笔记15

核心内容: 1、Spark架构入门笔记 2、ClusterManager–资源调度、Driver—作业运行调度的详解今天进一步深入学习了Spark,主要学习的内容为Spark的核心架构,好的,进入本篇文章的正题。 注意:本篇文章谈的是Spark的StanAlone模式。 先谈一下我自己...

2016-11-30 15:26:19

阅读数:1878

评论数:0

Spark系列修炼---入门笔记14

核心内容: 1、如何搭建HA下的Spark集群模式好了,进入本篇博客的正题,本篇博客主要内容为搭建HA下的Spark集群,在搭建之前,先看一下Spark的运行模式: 从运行模式上我们可以看出,我们需要先搭建Zookeeper集群,这里就不在详细叙述Zookeeper集群的的搭建过程了,但是...

2016-11-27 21:33:04

阅读数:1691

评论数:0

Spark系列修炼---入门笔记13

核心内容: 1、小编带你通过WordCount程序查看Spark与MapReduce的诸多雷同情节今天通过数据流动的角度再一次从整体上认知了Spark中的WordConunt程序,但是在分析的过程中,给我的第一个感觉就是Spark的运行过程与MapReduce有很多相似之处,接下来就仔细分下一下...

2016-11-26 14:26:38

阅读数:1392

评论数:0

Spark系列修炼---入门笔记12

核心内容: 1、Spark中WordCount的运行原理今天又彻底研究了一下Spark中WordCount的运行原理,在运行逻辑上与Hadoop中的MapReduce有很大的相似之处,今天从数据流动的角度解析Spark的WordCount,即从数据流动的角度来分析数据在Spark中是如何被处理的...

2016-11-26 11:08:41

阅读数:1544

评论数:0

Spark系列修炼---入门笔记11

核心内容: 1、Spark源码的导入今天在学习Spark的过程中,学会了源码的导入,进行总结: 首先一定要注意:在导入源码之前,本地必须先安装好JDK、Scala2.10.X以及Maven。 Maven下载地址 : http://pan.baidu.com/s/1boP...

2016-11-23 22:04:04

阅读数:1116

评论数:0

Spark系列修炼---入门笔记10

核心内容: 1、Java开发Spark程序(本地模式与集群模式) 2、Scala版程序对比Java版程序 3、Maven使用的相关注意事项 今天学习了用Java开发Spark程序,果然是非常的麻烦,但是相比于Hadoop中的MapReduce还是简单很多。好吧,直接贴代码: Spar...

2016-11-23 13:46:28

阅读数:1266

评论数:0

Spark系列修炼---入门笔记8

核心内容: 1、IDEA的下载即安装 2、IEDA环境下开发Spark程序今天又迈出了一步,基本上都已经掌握了,将学习的内容进行以下整理,希望早点学会Spark,早定和婷婷讨论完Spark,早点出山……,好了,不说没用的了,已经11月24号。 今天主要是在IDEA环境下去开发Spark...

2016-11-23 12:35:02

阅读数:784

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭