尚硅谷—大数据—Spark

一：简介：

        1）简介：
                a：Spark 是一种基于内存的、快速的、通用的、可拓展的、大数据分析 计算引擎。


        2）Spark VS Hadoop：
                a：从时间节点看变化：



                b：从功能来看区别：





                c：Spark or Hadoop：
                          -1.Hadoop 的 MR 框架 和 Spark 框架，都是数据处理框架，那我们在使用时该如何使用呢？
                                 a：Hadoop：


                                 b：Spark：

                                 c：实际使用选择：


                          -2.何所为 一次性数据计算：
                                 a：框架在 处理数据的时候，会从 存储设备中读取数据，进行逻辑操作，
                                          然后将处理的结果，重新存储到介质中。

                                 b：Hadoop 把结果 存储到 磁盘中：



                                 c：Spark 把结果 存储到 内存中：（处理速度快，堆内存资源要求高）（适合 单独部署）








 

二：Spark 核心模块 介绍：

        1）图示：



        2）模块介绍：







 

三：Spark 快速上手：

        1）创建 Maven 项目：
                a：增加 Scala 插件：

                b：

                c：
                d：
                e：
        2）：
                a：
                b：
                c：
                d：
                e：
        3）：
                a：
                b：
                c：
                d：
                e：
        4）：
                a：
                b：
                c：
                d：
                e：
        5）：
                a：
                b：
                c：
                d：
                e：

四：：

        1）：
        2）：
        3）：
        4）：
        5）：
                a：
                b：
                c：
                d：
                e：