风不止步的博客

一.Spark简介 Spark使用scala语言实现的，它是一种面向对象，函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，它具有运行速度快、易用性好、通用性强和随处运行等特点。 1.Spark与Hadoop差异 Spark把中间数据放到内存中，迭代运算效率高。MapReduce中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度，而Spark支持DAG图的分布式并行计算...

一.Spark编程模型 1.术语定义 应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor。 驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program。 执行单元（Executor）：...

3.Spark Sql

4.Spark Streaming