weixin_45753763的博客

原创 Spark个人学习笔记

spark的优点：（1）spark的计算模式属于MapReduce，但不局限于Map和Reduce的操作，提供了多种数据集操作类型，比MapReduce编程模型更灵活。（2）spark提供了内存计算迭代运算效率更高。（3）spark基于DAG的任务调度机制，优于MapReduce的迭代执行机制。Scala语言学习：概述：scala是一种纯粹的面向对象的语言，运行于JVM（虚拟机），且兼容现有的java程序，可以与java类进行互相操作，包括方法，对象，继承和实现接口等。scala也是函数式语言