spark的优点:
(1)spark的计算模式属于MapReduce,但不局限于Map和Reduce的操作,提供了多种数据集操作类型,比MapReduce编程模型更灵活。
(2)spark提供了内存计算迭代运算效率更高。
(3)spark基于DAG的任务调度机制,优于MapReduce的迭代执行机制。
Scala语言学习:
概述:
scala是一种纯粹的面向对象的语言,运行于JVM(虚拟机),且兼容现有的java程序,可以与java类进行互相操作,包括方法,对象,继承和实现接口等。
scala也是函数式语言,每个函数都是一个对象和其他类型的值处于同一地位(如整数,字符串等),还提供了轻量级的语法用于定义匿名函数,同时支持高阶函数,允许嵌套多层函数。