Scala
文章平均质量分 78
_水木_
如果你简单 这个世界就对你简单
展开
-
Scala数据集合操作
大数据技术是数据的集合以及对数据集合的操作技术的统称,具体来说: 1,数据集合:会涉及数据的搜集、存储等,搜集会有很多技术,存储现在比较经典的是使用Hadoop,也有很多情况使用Kafka; 2,对数据集合的操作技术:目前全球最火爆的是Spark; Spark的框架实现语言是Scala,首选的应用程序开发语言也是Scala,所以Scala对集合以及集合操作的支持就至关重要且必须异常强原创 2016-08-22 17:49:36 · 3450 阅读 · 0 评论 -
Scala函数式编程
1、函数和变量一样作为Scala语言的一等公民,函数可以直接赋值给变量; 2、函数更长用的方式是匿名函数,定义的时候只需要说明输入参数的类型和函数体即可,不需要名称,但是如果你要使用的话,一般会把这个 匿名函数赋值给一个变量(其实是val常量),Spark源码中大量存在这种语法,必须掌握; 3, 函数可以作为参数直接传递给函数,这极大的简化的编程的语法,为什么这样说呢?原因非常简原创 2016-08-22 18:11:42 · 1776 阅读 · 0 评论 -
Scala中的Map和Tuple
1、默认情况下Map构造的是不可变的集合,里面的内容不可修改,一旦修改就变成新的Map,原有的Map内容保持不变; 2、Map的实例是调用工厂方法模式apply来构造Map实例,而需要主要的是Map是接口,在apply中使用了具体的实现; 3、如果想直接new出Map实例,则需要使用HashMap等具体的Map子类; 4、查询一个Map中的的值一定是采用getOrElse的语法的,一方面是在原创 2016-08-22 18:17:14 · 3420 阅读 · 0 评论 -
Scala类型系统编程
1、Scala的类和方法、函数都可以是泛型,在Spark源码中可以到处看到类和方法的泛型,在实际实例化的时候指定具体的类型,例如Spark最核心、最基础、最重要的抽象数据结构RDD里面关于RDD的类的定义是泛型的,RDD的几乎所有方法的定义也都是泛型的,之所以这么做,是因为RDD会派生很多子类,通过子类适配了各种不同的数据源以及业务逻辑操作; 2、关于对类型边界的限定,分为上边界和下边界: 上原创 2016-08-22 18:22:24 · 377 阅读 · 0 评论