Spark大数据处理技术

Spark大数据处理技术

期待您的关注

走走荆棘之路；生活是不容易的，尤其是你想有所成就的话。不要拈轻怕重，做点不寻常的。

目录

Spark大数据处理技术

1.什么是spark

2.学习前的准备

3.什么是Scala

1）Scala与spark的关系

2）Scala 主要特点：

3）为什么学Scala

---

1.什么是spark

Spark 是一个快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发，现在由Apache软件基金会管理。它提供了一种用于大规模数据处理的统一引擎，支持多种数据处理任务，包括批处理、交互式查询、实时流处理和机器学习。

Spark 的一个主要特点是其内存计算能力，它利用内存进行数据计算和缓存，从而大大提高了处理速度。相比于传统的大数据处理框架，如Hadoop MapReduce，Spark 在性能上有了巨大的提升。

Spark 提供了一个称为 Resilient Distributed Dataset（弹性分布式数据集，简称 RDD）的抽象概念，它是一个被分布在多台机器上的数据集合，可以在这些数据集上进行并行操作。RDD 具有容错性，即使在节点发生故障时也能够恢复。此外，Spark 还引入了 DataFrame 和 Dataset 这样的高级抽象，使得对数据的操作更加方便和高效。

Spark 生态系统还包括许多附加组件，如 Spark SQL、Spark Streaming、MLlib（机器学习库）、GraphX（图计算库）等，使得用户能够进行更多样化的数据处理和分析任务。

总的来说，Spark 是一个功能强大、易于使用的大数据处理引擎，适用于各种规模和类型的数据处理需求，从而成为了当今大数据领域的主要技术之一。

2.学习前的准备

双击安装 直接连续点击下一步 直到安装完成

打开IDEA 下载Scala插件

下面我们新建一个工程

点击File --> Project Structure

这里出现说明添加上了

3.什么是Scala

1）Scala与spark的关系

Hadoop是用Java写的

spark是用Scala写的

Scala 是一种多范式的编程语言，具有函数式编程和面向对象编程的特性，最初由Martin Odersky于2003年创建。Scala 是 "Scalable Language"（可扩展语言）的缩写，旨在提供一种能够适应各种规模的应用程序开发的语言。

Scala 运行在 Java 虚拟机（JVM）上，因此可以与 Java 无缝互操作，并能够利用 Java 生态系统的丰富资源。它结合了函数式编程的优雅和简洁性，以及面向对象编程的灵活性和可扩展性，使得开发者能够更轻松地编写复杂的应用程序。

2）Scala 主要特点：

1. 静态类型系统：Scala 是一种静态类型语言，但它也支持类型推断，因此开发者可以在编写代码时省略类型声明，使得代码更加简洁。

2. 函数式编程：Scala 提供了丰富的函数式编程特性，包括不可变性、高阶函数、匿名函数、模式匹配等，使得编写函数式风格的代码更加容易。

3. 面向对象编程：Scala 是一种纯粹的面向对象语言，一切皆为对象。它支持类、继承、多态等面向对象编程的概念，并提供了特质（trait）等强大的抽象机制。

4. 并发编程：Scala 提供了原生的并发编程支持，通过 Actor 模型和并发库（如 Akka）等工具，开发者可以更容易地编写并发和分布式系统。

5. 可扩展性：Scala 允许开发者通过定义新的语法结构和领域特定语言（DSL）来扩展语言的功能，使得 Scala 可以适应各种不同的应用场景。

Scala 在大数据领域中得到了广泛应用，特别是在 Apache Spark 这样的大数据处理框架中。由于其表达力强、性能高以及与 Java 互操作性好等优点，Scala 成为了许多大数据项目的首选语言之一。

Java开发的一个核心人员 就是Scala的开发人

Scala类的编译和执行还是Java的JDK (javac编译 java执行)

3）为什么学Scala

①优雅

②速度快

③能融合到Hadoop生态圈

（弥补了Hadoop处理数据慢的缺陷）