Spark回家吃饭
sjh752422969
这个作者很懒,什么都没留下…
展开
-
【Spark你妈喊你回家吃饭-01】 Spark是什么鬼?
经过一段时间的学习和测试,是时候给spark的学习经历做一个总结了,对于spark的了解相对晚了写。本博准备推出20篇左右spark系列原创文章(先把牛吹出去再说) ,尽量将枯燥无味的技术讲的通俗易懂- r.kelly原创 2017-02-12 09:50:34 · 3110 阅读 · 2 评论 -
【Spark你妈喊你回家吃饭-02】-我是一个凶残的spark
学一门新鲜的技术,其实过程都是相似的,先学基本的原理和概念,再学怎么使用,最后深究这技术是怎么实现的,所以本章节就带你认识认识spark长什么样的,帅不帅,时髦不时髦(这货的基本概念和原理),接着了解spark有什么必杀技(spark的各种大招),我们如何使用它的必杀技,最后看看spark如何更加高效的组合它的必杀技,以及spark是如何练就这一身必杀技的。原创 2017-02-14 23:38:05 · 1006 阅读 · 0 评论 -
【Spark你妈喊你回家吃饭-04】再说Spark底层运行机制
Spark通过RDD对分布式的数据进行管理,RDD记录了转换成“spark格式”后的数据分区(记录数据的存储位置)和数据分区对应的操作 · 应用提交后,形成RDD Graph,并且在后台创建DAG对象(spark不仅仅用DAG建模,而且还会执行它,并且里面不是用对象表示,而是用RDD对象之间的关系)原创 2017-02-14 23:58:11 · 1533 阅读 · 0 评论 -
【Spark你妈喊你回家吃饭-03】Spark RDD的蛮荒世界
RDD真的是一个很晦涩的词汇,他就是伯克利大学的博士们在论文中提出的一个概念,很抽象,很难懂;但是这是spark的核心概念,因此有必要spark rdd的知识点,用最简单、浅显易懂的词汇描述。不想用学术话的语言来阐述RDD是什么,用简单、容易理解的方式来描述。原创 2017-02-14 23:45:23 · 929 阅读 · 0 评论 -
大数据视频课程汇总
由于大数据视频未经视频版权方授权,很可能会被下架,请各位需要的同仁及时下载,如果被下架,请留言说明。原创 2017-04-09 16:57:10 · 10724 阅读 · 5 评论 -
【spark你妈喊你回家吃饭-05】RDD编程之旅基础篇-01
RDD是spark特有的数据模型,谈到RDD就会提到什么弹性分布式数据集,什么有向无环图,本文暂时不去展开这些高深概念,在阅读本文时候,大家可以就把RDD当作一个数组,这样的理解对我们学习RDD的API是非常有帮助的。本文所有示例代码都是使用scala语言编写的原创 2017-06-16 17:54:50 · 903 阅读 · 0 评论