Scala
枏
这个作者很懒,什么都没留下…
展开
-
Scala学习笔记-方便查找使用 为Spark学习打基础
Scala学习伊始为什么是Scala网课环境电脑环境安装IDEA插件安装IDEA关联Scala源码基础部分文档注释和生成字符串的三种输出变量和常量数据类型数据类型体系图小结具体数据类型伊始为什么是Scala毕业设计所逼,我课题是《基于spark的实时音乐推荐系统》,而Spark是用Scala开发的,使用Scala必然最合适。虽然Spark提供了Java、Python等的API,但貌似效果不如Scala。网课自己找了个网课,开干原创 2021-02-05 00:39:14 · 708 阅读 · 0 评论 -
为什么把Spark RDD中的方法称之为算子?和Scala中的方法有什么不同?
算子也就是Operator(操作)不同的称呼是为了区分RDD的方法和Scala集合对象的方法Scala集合对象的方法都是在同一个节点的内存中完成的RDD的方法可以将计算逻辑发送到Executor端(分布式节点)执行RDD的方法 外部操作都是在Driver端执行,而方法内部的逻辑代码是在Executor端执行例如:...原创 2021-04-24 11:38:56 · 477 阅读 · 2 评论 -
基于Spark实现从服务器日志数据apache.log中获取每个时间段访问量
目录要求日志数据代码部分结果要求在Spark环境中,实现从服务器日志数据apache.log中获取每个时间段访问量这里以一个小时为时间段,不考虑年份日期日志数据资源还在审核中,通过后免费下载,以下是部分数据,供临时测试:83.149.9.216 - - 17/05/2015:10:05:03 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-search.png83.149.9.216 - - 17/05/2015:原创 2021-04-19 00:06:14 · 943 阅读 · 0 评论 -
scala中输出版本号
在IDEA中安装了多个版本的scala,为了查看当前项目使用的是哪个版本,可以通过如下命令进行查看:println(util.Properties.versionString)原创 2021-04-09 16:32:58 · 482 阅读 · 0 评论 -
scala使用并行集合暨IDEA无法导入scala依赖
scala使用并行集合导入依赖在scala 2.13.x版本中,使用并行集合需要引用依赖。在这里,你可以查询到需要引入的文件和对应的代码找到合适的版本后,复制代码:网站中给出的xml应当包含在dependencies标签中:<dependencies> <!-- https://mvnrepository.com/artifact/org.scala-lang.modules/scala-parallel-collections --> <depe原创 2021-04-08 14:53:07 · 923 阅读 · 0 评论 -
Scala:用自定义函数实现while循环功能
目的通过编写函数,借助于闭包、递归、控制抽象、柯里化等实现while循环的全部功能,以加深对于高阶函数的理解。实现最简单的方法:柯里化复杂:闭包+递归+控制抽象复杂:闭包+递归+控制抽象+匿名函数具体程序如下:object mS { //TODO: 用 闭包+递归+控制抽象 实现while循环的功能 //while循环可以看做两部分代码 1.循环条件 2.循环体 //这两部分都是代码块 def main(args: Array[String]): Unit = { var i原创 2021-04-03 00:41:45 · 439 阅读 · 0 评论 -
Scala高阶函数练习三
要求实现例一:def main(args: Array[String]): Unit = { println(func(0)("")('0')) println(func(1)("")('0')) println(func(2)("")('0')) println(func(0)(" ")('0')) }def func(a: Int): String => Char => Boolean = { def f1(b: String): Char => Boolea原创 2021-04-02 10:19:36 · 117 阅读 · 0 评论 -
高阶函数练习二:对数组进行处理,将操作抽象出来,处理完毕后返回一个新的数组
要求对数组进行处理,将操作抽象出来,处理完毕后返回一个新的数组实现例一:实现数组各个元素自增10object myClass { //对数组进行处理,将操作抽象出来,处理完毕后返回一个新的数组 def main(args: Array[String]): Unit = { val number = Array(1, 2, 3, 4) val result = arrayOperation(number, plusOne) println(result.mkString(" "))原创 2021-04-01 23:28:31 · 111 阅读 · 0 评论 -
Scala匿名函数与高阶函数练习
目的定义一个二元运算,只操作1和2两个数字,具体的执行过程通过参数传入通过匿名函数与高阶函数来实现代码object myClass { def main(args: Array[String]): Unit = { val plus = (num1: Int, num2: Int) => { num1 + num2 } val minus = (num1: Int, num2: Int) => { num1 - num2 } //a + b dual原创 2021-04-01 18:05:51 · 155 阅读 · 0 评论 -
Scala 循环逆序输出的几种形式
Scala 逆序输出的几种形式要求方法1 减法方法2 `reverse`写法1:写法2:写法3:方法3 `foreach()`要求编写一个过程,实现从n到0的数字打印方法1 减法通过减法实现def countDown1(n: Int): Unit = { for(i <- 0 to n) { println(n - i) }}方法2 reverse借助reverse实现写法1:def countDown1(n: Int): Unit = { for (i <- 0原创 2021-02-17 17:14:44 · 2017 阅读 · 1 评论