2018年12月_forever428

原创 spark01--spark环境搭建,程序执行,spark-shell,Wordcount

Spark的运行模式 Local本地模式用于测试环境, 在eclipse或IDEA中 Standalone是spark自带的一个调度系统,它支持完全分布式 YARN 将spark使用YARN的资源调度来进行执行 Mesos 也是一种资源调度, 用的人较少 spark2.2.0 伪分布式搭建基本设置:时间同步, 免密登录, 安装JDK1.8 上传spark2.2.0 的压缩包到指定的集...

2018-12-30 22:44:48 526

原创 scala05--泛型,AKKA通信模拟

泛型 scala中的泛型可以作用在类, 方法, 函数中, 泛型本身占位符是没有任何意义的. 例如: scala中的泛型[T], 本身没有任何意义, 只有当传入参数的时候, 当前的占位符才会有真正的意义, T可以当做Any, 什么都可以接受在指定泛型的时候可以对泛型进行范围界定, 而不是让其随意传入一个类型, 而是传入指定类型, 这种方式就是scala中的[界定] (边界) Java中对泛型进行...

2018-12-30 21:19:29 263

原创 scala04--Actor,高阶函数,闭包,柯里化,隐式转换,Option

Option类型 Option类型用来表示可能有值, 也可能没有值, 有两个子类 None—&amp;amp;gt;无值 Some—&amp;amp;gt;有值 class OptionDemo { def main(args: Array[String]): Unit = { //option中的参数相当于是一个元组, val op: Option[(String, Int, Boolean)] = ...

2018-12-27 19:51:00 302

原创 scala03--Lazy,并行,类,伴生,特质,抽象,修饰,匹配,样例

Lazy关键字添加到变量之前, 做到延迟加载, 只有调用的时候才会执行计算类似于单例中的懒汉模式–&gt; 不调用方法之前对象是不存在的构造方法私有化创建一个静态私有变量数据类型是当前类的数据类型且不进行初始化提供一个公有静态的获取当前对象的方法进行判断, 若当前对象没有被创建, 创建对象, 否则返回 object LazyDemo extends App { def init...

2018-12-26 16:52:11 305

原创 scala02--方法,函数,集合,数组,元组,列表,映射,Iterable

文章目录一方法和函数方法的定义函数的定义匿名函数的定义和使用高阶函数的定义和使用函数作为参数函数作为返回值二数组定长数组定长数组的定义定长数组的操作变长数组变长数组的定义变长数组的操作遍历数组数组转换数组常用算法三映射map构造值可变映射获取和修改映射中的值构建值不可变映射对比可变Map与不可变Map操作迭代映射数据四元组Tuple创建元组创建访问元组元组遍历操作五列表List不可变Li...

2018-12-25 20:18:05 398

原创 scala01--scala简介,安装,数据类型,运算符,控制流

文章目录一了解ScalaScala特点二什么是Scala?编程范式函数式编程特点三 Scala三大目标目标1：熟练的使用scala编写spark程序目标2：动手编写一个简易spark通信框架目标3: 可以阅读spark原码四 Scala安装Windows安装Linux安装五 scala中的解释器六编写第一个scala程序七 IDEA的配置安装scala插件创建scala项目八 scala基础...

2018-12-24 20:25:04 356

大数据开发工程师