Spark初识

最新推荐文章于 2022-07-16 10:19:28 发布

xiaoppt

最新推荐文章于 2022-07-16 10:19:28 发布

阅读量152

点赞数

文章标签： spark big data 大数据

本文链接：https://blog.csdn.net/xiaoppt/article/details/121257906

版权

一、定义与特点

作者
- 联邦理工学院（EPFL）的 Martin Odersky，之前曾从事工作是 Generic Java 和 javac（Sun Java 编译器），并于 2001 年开始设计 Scala。
语言介绍
- 多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。
- 运行在 Java 虚拟机上，并兼容现有的 Java 程序。
- 源代码被编译成 Java 字节码文件，运行于 JVM 之上，并可以调用现有的 Java 类库。
语言特点
- 面向对象特性
  - 一种纯面向对象的语言，每个值都是对象
- 函数式编程
  - 函数式语言，其函数也能当成值来使用。
  - 提供了轻量级的语法用以定义匿名函数，支持高阶函数，允许嵌套多层函数，并支持柯里化。
- 静态类型
  - 具备类型系统，通过编译时检查，保证代码的安全性和一致性。
  - 像 scala，java,c/c++,c#,golang 等属于静态类型。
  - 像 python，ruby，javascript 等属于动态语言。
- 扩展性
  - 提供了许多独特的语言机制，可以以库的形式轻易无缝添加新的语言结构。
- 并发性
  - 其并没有在底层对语言的并发性做更新升级。
  - 使用 Actor 作为其并发模型

技术方面
- 完全兼容 Java，运行于 JVM 虚拟机之上。
- 支持函数式编程和类型推断
- 结合面向过程和面向对象，并保证代码简洁及优雅
- 开发工具 IDE 非常成熟
应用方面
- LinkedIn/Twitter/英国卫报等众多企业已全面生产应用 Scala，或替换 Java 代码。
- spark/kafka 等大数据开发组件的巨大爆发力，使 Scala 为国内所热捧。

基本概念
- 对象：类的一个具体实例，对象包含属性和方法，如旺财有属性毛色和看家本领能力。
- 类：类是对象的抽象，对象是类的一个实例。
- 方法：描述类所拥有的行为能力，一个类可以拥有多个方法。
- 属性：也称字段，即每个对象拥有它自身实例变量集合，通过赋值来创建真正的属性值。
基本语法
- 区分大小写
- 类名：首字母要大写，如 class HelloWorld{},class Person{},class Student{},也称大驼峰
- 方法名称：首字母小写，从第 2 个单词开启的首字段大写，如 def toString(),def getName()，即为小驼峰
- 程序文件名：保持与类名或对象名一致，区分大小写，以 ".scala"来结尾。
- 主程序入口：def main(args: Array[String]) ，scala 若要独立运行必须从 main 方法开始处理，每个 scala 强制程序入口。
标识符
- 兼容 java 标识符命名规范
- 命名规范：类为大驼峰，其它为小驼峰
- 多符号命名：可以加入“$,+,++,<“等符号参与命名，注意首字符和尾字符的若干限制，如"$"不要作为开头，"_"不要作为结尾。
- 有新增关键字，如 yield 成为 scala 新关键字，则在 scala 调用时，则应由 Thread.yield()改成 Thread.`yield`来使用。
关键字
- 以下为保留关键字，不要以关键字作为变量命名。

注释
- 兼容 Java 注释，支持单行和多行
- 支持多行注释的嵌套结构
换行符
- 面向行编程的语言，每行语句可以用显式的";"来结尾，或者以回车换行来结尾。即末尾的";"是可选的。
- 如果一行中包括多个语句，则必须用";"来分隔。
包定义
- 兼容 java 包方式，如 package com.tl.utils; o
- 类 c#的包定义方式
  - package com.tl.test {
    - class MyTest {
    - }
引用
- 引入单个类：import java.util.Date;
- 引入包下所有类：import java.util._;
- 引入包下若干类(选择器）：import java.util.{Date,HashSet,HashMap}
- 引入类后重命名：import java.util.{Date => OldDate}
- 隐藏包下的部分成员：import java.util.{Date=>_,_}
- 默认包引入为：java.lang._、scala._、Predef._，默认引入的包的情况下其内类的使用均不需要加上包名。

与Java相似部分（皆为对象类型,scala无原生数据类型） Byte,Short,Int,Long,Float,Double,Char,String,Boolea
差异部分:
- Unit：即为空值或无值，与 Java中的 void等同
- Null：即为 null，即空引用
- Nothing：是任何类型的子类型，在 scala类层级的最末端
- Any：是所有其它类的基（父）类
- AnyRef：是所有引用类的基础，即除了值类型之外
- AnyVal：是所有值类型的基类，包括 9个值类

关注