博客专栏  >  云计算/大数据   >  spark学习路线

spark学习路线

从预览篇、生态篇、开发篇、运维篇、源码篇五个不同的角度来介绍spark的各个方面,从1.0.0开始编写,争取在1.2.0完成所有篇幅并制成PDF文档,作为spark爱好者的参考资料。

关注
12 已关注
12篇博文
  • spark1.1.0学习路线

    经过一段时间授课,积累下不少的spark知识,想逐步汇总成资料,分享给小伙伴们。对于想视频学习的小伙伴,可以访问炼数成金网站的《spark大数据平台》课程,每周的课程是原理加实际操作。最新的课程是第3...

    2014-10-24 12:12
    5206
  • sparkSQL1.1入门之十:总结

    回顾一下,在前面几章中,就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。 基本概念: SchemaRDD RuleTreeLogicPlanPar...

    2014-10-23 11:19
    2679
  • sparkSQL1.1入门之九:sparkSQL之调优

    spark是一个快速的内存计算框架;同时是一个并行运算的框架。在计算性能调优的时候,除了要考虑广为人知的木桶原理外,还要考虑平行运算的Amdahl定理。       木桶原理又称短板理论,其核心...

    2014-10-23 11:28
    4556
  • sparkSQL1.1入门之八:sparkSQL之综合应用

    Spark之所以万人瞩目,除了内存计算,还有其ALL-IN-ONE的特性,实现了One stack rule them all。下面简单模拟了几个综合应用场景,不仅使用了sparkSQL,还使用了其他...

    2014-09-11 09:18
    5880
  • sparkSQL1.1入门之七:ThriftServer和CLI

    spark1.1相较于spark1.0,最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手spark...

    2014-09-09 10:41
    12279
  • sparkSQL1.1入门之六:sparkSQL之基础应用

    sparkSQL1.1对数据的查询分成了2个分支:sqlContext 和 hiveContext。       在sqlContext中,sparkSQL可以使用SQL-92语法对定义的表进行查询...

    2014-09-10 09:16
    15438
  • sparkSQL1.1入门之五:测试环境之搭建

    前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive...

    2014-09-10 08:47
    5750
  • sparkSQL1.1入门之四:深入了解sparkSQL运行计划

    前面两章花了不少篇幅介绍了SparkSQL的运行过程,很多读者还是觉得其中的概念很抽象,比如Unresolved LogicPlan、LogicPlan、PhysicalPlan是长得什么样子,没点印...

    2014-10-22 08:59
    4472
  • sparkSQL1.1入门之三:sparkSQL组件之解析

    上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法(Tree和Rule的配合),也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件,由于hiveC...

    2014-10-27 10:58
    5118
  • sparkSQL1.1入门之二:sparkSQL运行架构

    在介绍sparkSQL之前,我们首先来看看,传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询: SELECT a1,a2,a3 FROM tableA Where condit...

    2014-10-10 09:15
    6281
  • sparkSQL1.1入门之一:为什么sparkSQL

    2014年9月11日,Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署,请参看笔者博客Spark1.1.0 源码编译和部署包生成 。 ...

    2014-09-15 09:46
    12907
  • Spark1.1.0 源码编译和部署包生成

    Spark1.1.0的编译对几种编译方法(Maven、SBT、make-distribution.sh)进行了配置项的统一,都可以使用Maven的profile配置项;另外,对于需要额外版权的集成组件...

    2014-05-13 15:23
    10493
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部