大数据技术
文章平均质量分 50
@小白也疯狂
疯狂自救过程
展开
-
Scala应用篇二:读取同一文件夹中的所有文件,并统计文件中各单词出现频率(spark)
Scala词频统计!!原创 2022-03-29 22:04:29 · 3455 阅读 · 0 评论 -
Scala应用篇一:文件的读取(Source.fromFile/getLines/close/foreach)
一、文件的读取如Java一般在我们使用特定的操作时需要调用某个包的某一个函数实现。在Scala里我们在读取文件时需要使用一个叫“scala.io.Source”的包,使用包中的一个叫fromFile的函数实现。现在上代码!!import scala.io.Sourceobject no7{ def main(args: Array[String]) { val filepath ="/home/hadoop/mydata/1.2.txt" val source = Sour原创 2022-03-29 01:04:48 · 8110 阅读 · 0 评论 -
scala基础篇四:(spark)容器操作(foreach、Map、flaMap、filter、reduce/Left/Right、fold)
2、映射:就是把一个数据提出操作,不改变原有的数据,而是生成新的数据。Map(一对一映射)flatMap(一对多映射):一个容器被映射成多个,然后拍扁成一个返回3、过滤:依据条件筛选符合条件的数据Filter() 根据条件过滤4、规约Reduce()根据对容器里的元素进行两两运算reduceLefet/reduceRightFold:可以加入额外的数据进行...原创 2022-03-27 23:51:43 · 2046 阅读 · 0 评论 -
Scala基础篇三:对象,继承、特质、匹配模式
目录一、对象二、继承三、特质四、匹配模式 1、match语句:用在当需要从多个分支中进行选择的场景2、case类一、对象单例对象(singleton object): object定义单例对象,单例对象分为伴生对象和孤立对象; 伴生对象(companion object):当在同一个程序中出现与对象同名的类相同时,那么称该对象为伴生对象,而相应的类被称为伴生类。两者之间可以相互访问私有变量。 没有同名类的单例对象称为孤立对象class Per...原创 2022-03-26 20:34:31 · 310 阅读 · 0 评论 -
Scala基础篇二(类逻辑,类使用)
构造器:Class Counter(var name:String)//定义一个类构造器。Var mycounter = new Counter(“Runner”)//定义一个调用类构造器的变量。Scala类可以包含零个或多个辅助构造器(auxiliary constructor)。辅助构造器使用this进行定义,this的返回类型为Unit。Unit是一个特殊的元组——没有元素的元组,它表示一个函数没有任何信息需要返回。每个辅助构造器的第一个表达式必须是调用一个此前已经定义的辅助构造器或主构造原创 2022-03-24 23:02:51 · 434 阅读 · 0 评论 -
类?类方法?主类?一气之下,画了张Scala,Java程序结构图
原创 2022-03-23 23:55:15 · 318 阅读 · 0 评论 -
Scala基础篇一(变量定义,控制台的输入输出,文件写入、文件读取、控制结构、数据结构、编写spark常用函数)
我要征服懒癌!!!为了鲜花更为了美人!!原创 2022-03-23 17:00:10 · 3142 阅读 · 0 评论