Scala
无名一小卒
Wubba lubba dub dub
展开
-
Spark中RDD的依赖分类;Spark中的RDD Transformation函数、RDD Action函数;Spark 框架的优势;Spark性能优化:RDD方法优化
RDD依赖分类 宽依赖 操作产生类似与MapReduce中shuffle的操作 – 子 RDD 的每个分区依赖于所有父 RDD 分区 – 对单个 RDD 基于 key 进行重组和 reduce ,如 groupByKey 、 reduceByKey – 对两个 RDD 基于 key 进行 join 和重组,如 join、 窄依赖 操作不会产生类似与MapReduce中shuffle的操作 – 子 ...原创 2019-08-02 20:30:05 · 219 阅读 · 0 评论 -
Spark中的RDD,RDD的创建方式,RDD中函数的分类
RDD是什么 就是一个集合 在使用的时候,就当做为Scala集合类中List列表 实质 分布式 存储数据 集合 abstract class RDD[T: ClassTag] A Resilient(弹性) Distributed(分布式) Dataset (RDD) Represents(代表) an immutable(不可变), partitioned(分区) collection of e...原创 2019-08-01 21:54:59 · 374 阅读 · 0 评论 -
Scala——模式匹配;Option类(可选类)的使用;样例类的定义与使用;隐式函数实现对象转换
模式匹配 模式匹配的功能非常强大,使用恰当的话可以省略很多不必要的操作 /** * 模式匹配使用 */ object PatternDemo { def main(args: Array[String]): Unit = { judgeGrade("F","zs") val list: List[(String, (String, Int))] = List(("A"...原创 2019-07-27 21:28:43 · 269 阅读 · 0 评论 -
Scala——Scala的面向对象,如何建立类与构造函数,类的伴生对象,接口的定义与实现,异常处理
Scala中定义没有构造函数的类 /** *创建一个类 * -1.属性field,attribute:名词 * -2.方法method/函数function:动词 */ class People { /** * 属性定义 */ //当属性使用var声明的时候,编译的时候,会生成Getter和setter方法 var name:String = ...原创 2019-07-27 21:28:34 · 492 阅读 · 0 评论 -
Scala——定义使用元组,Map,并将Java数据类型转换为Scala数据类型
元组的定义与使用 object TupleDemo { def main(args: Array[String]): Unit = { val arr: Array[Any] = Array(10,9.85,"hadoop") val first = arr(0) //转换数据类型 val intValue = first.asInstanceOf[Int] ...原创 2019-07-27 21:28:14 · 2143 阅读 · 0 评论 -
Scala中使用var和val定义mutable集合与immutable集合的区别
var和val的区别很好理解,val类型的变量指的是引用不可更改,类似于java变量加了final修饰,但是引用对象内容可以改变 scala> val map = scala.collection.mutable.Map(1->"x", 2->"y") map: scala.collection.mutable.Map[Int,String] = Map(2 -> y,...转载 2019-07-27 08:29:00 · 375 阅读 · 0 评论 -
Scala实现wordcount程序
object WordCount { def main(args: Array[String]): Unit = { val lineList = List( "hadoop hive spark hadoop java", "spark java sqool hive", "hadoop hive spark java" ) /...原创 2019-07-26 22:15:00 · 681 阅读 · 0 评论 -
Scala——List中的高阶函数的使用:map,flatMap,filter,filterNot,groupBy,sorted,sortBy,# List使用排序函数sorted,,reduce
List使用map与flatMap函数 object LsitHightFun { def main(args: Array[String]): Unit = { //创建一个List,不可变的集合 val list: List[Int] = (1 to 10).toList // def map[B](f: A => B): TraversableOnce[B...原创 2019-07-26 22:14:13 · 502 阅读 · 0 评论 -
Scala——Scala中的集合;数组Array与集合类List的使用
Scala中集合 在Scala语言中,数组Array或者集合类(List,Set ,Map)分为可变集合和不可变集合2类 第一类:Array 和List 不可变的类名称:Array和List 可变的类名称:ArrayBuffer和ListBuffer 第二类:set和Map 可变还是不可变名称都是set或map,变化的包的名称 可变:mutable import scala.coll...原创 2019-07-26 22:13:48 · 1791 阅读 · 0 评论 -
Scala——变量的定义,循环结构,选择结构,函数定义与使用,高阶函数
Scala中变量的的定义 以下变量的定义都在交互式命令行中,所有代码均可以在开发工具中使用 var与val 自动识别变量类型 变量的lazy声明 声明为lazy变量后,只有该变量在使用时才会被调用 定义变量使用大括号时,最后一行表示返回值 scala中一切皆对象 选择结构 object HelloScala { def main(args: Array[String]): Unit ...原创 2019-07-26 21:05:01 · 482 阅读 · 0 评论 -
Scala——Scala语言介绍,Scala在Windows中与Linux中安装;IDEA中配置Scala
Scala语言介绍 Object-Oriented Meets Functional Java:面向对象语言 C语言:是函数编程,函数不需要放在类中 Scala语言集成Java语言和C语言的2大优点 Scala既能做大型项目的开发,也能做数据分析 OOP + FP Python是人工智能的第一语言,也是OOP+FP 对象(类)与函数都是一等功能,都可以独立存在和运行 建立在JVM之上的一门语言 ...原创 2019-07-25 17:41:32 · 360 阅读 · 0 评论