- 博客(16)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 scala 偏函数
被包在花括号内的一组 case 语句是一个偏函数 - 一个并非所有输入值都有定义的函数。她是 PartialFunction[A,B]类的一个实例。（A是参数类型，B是返回类型），该类有两个方法：Apply方法从匹配的模式计算函数值，而isDefinedAt方法在输入至少匹配其中一个模式时返回true例如：val f:PartialFunction[Char,Int] = {case
2018-04-26 10:32:57
444
原创 scala 匹配数组、列表、元组
arr match{ case Array(0) = > "0" case Array(x,y) => x+" "+y case Array(0,_*) => "0 ..." case _=> "something else"}
2018-04-26 10:10:47
450
原创 match入门1
object Case1 { def main(args: Array[String]): Unit = { val ch:Char = '1' var sign:Int=0 var digit:Int=0 ch match{ case '+' => sign = 1 case '-'...
2018-04-26 10:07:06
190
原创 scala 将函数映射到集合
object PutFunctionToCollection { def main(args:Array[String]): Unit ={ val name = List("Peter","Paul","Mary") name.map(_.toUpperCase) def ulcase(s:String) = Vector(s.toUpper
2018-04-26 09:10:23
294
原创 spark 几个端口
4040：每个Driver的SparkContext都会启动一个web节目，默认端口是404018080: 启动历史服务器： ./sbin/start-history-server.sh ， 日志跟目录必须在spark.history.fs.logDirectory中配置，每个子目录对应一个Spark程序的事件日志。历史服务会启动web节目，默认端口 18080...
2018-04-25 17:43:20
7775
原创 scala 计算器数字不变化
var counter = 0val data = Seq(1,2,3)var rdd = sc.parallelize(data)rdd.foreach(x=>counter+=x)println(counter)这是为什么呢？所有对RDD的函数调用，虽然代码上看起来在Driver程序中运行的，但实际计算都不在本地。即使单机本地模式运行，也是在单独的执行器进程上运行。每个job的执行，都会...
2018-04-25 17:36:02
336
原创 spark比hadoop快的原因
(1)spark大量使用内存(2)核心数据结构：RDD(弹性分布式数据集)，在此基础上提供了许多计算函数，（3）在原先hadoop下一个map或reduce实现的功能，在spark下可以拆分成多个job.如果把hadoop看做罐子里的大石头，那么spark的job就是罐子里的碎石子，可以装的更多。（）
2018-04-25 16:59:21
1559
原创 val digits = Set(1,7,8,0) val a= digits contains 0 System.out.println(a) val b = S
集合的操作 /用于添加或去除元素的操作符 val digits = Set(1,7,8,0) val a= digits contains 0 System.out.println(a) val b = Set(1,7).subsetOf(digits) System.out.println(b) val primes = Set(2,3,5,7) val u = d
2018-04-25 16:01:24
131
原创 scala 可变列表
把所有负数都改为零object multableList { def main(args: Array[String]): Unit = { val lst = scala.collection.mutable.LinkedList(1,-2,7,-9) var cur = lst while (cur!=Nil){ if(cur
2018-04-25 15:48:23
602
原创 scala 控制
如下函数在线程中执行某段代码：def runThread(block:()=>Unit){ new Thread{orverride def run(){block()}}.start()}这段代码以类型为（）=>Unit的函数的形式给出。不过，当你调用该函数时，需要写那么一段不优美的()=>:runInThread(()=>println("Hi")
2018-04-25 14:31:02
156
原创 scala 匿名函数/带函数参数的函数
（1）匿名函数var triple = (x:Double)=> 3*x这就跟你用def一样def triple(x:Double) = 3*x但你不需要给函数命名，你可以直接将它传递给另一个函数Array(3.14,1.42,2.0).map((x:Double)=> 3*x)（2）带函数参数的函数def valueAtOneQuarter(f: (Double)=> Dou...
2018-04-25 11:38:23
468
原创 scala array 数组整体 ceil
object MyTEst { def main(args: Array[String]): Unit = { val num = 3.14 val fun = ceil _ var v1= fun(num) System.out.println(v1) var vv = Array(3.14,1.42,2.0).map(fun) for (...
2018-04-25 11:09:56
233
原创 使用了hive为什么要加mysql?
metastore是hive元数据的集中存放地metastore默认使用内嵌的derby数据库作为存储引擎Derby引擎的缺点：一次只能打开一个会话使用Mysql作为外置存储引擎，多用户同时访问Hive安装内嵌模式：元数据保持在内嵌的Derby模式，只允许一个会话连接本地独立模式：在本地安装Mysql，把元数据放到Mysql内远程模式：元数据放置在远程的Mysql数据库。 想说的是，hive只是个...
2018-04-25 09:01:28
12009
原创 scala的object的基本用法
scala没有静态方法和静态字段，可以用object这个语法来达到同样目的。object Accounts{ private var lastNumber = 0 def newUniqueNumber()={lastNumber+=1;lastNumber}}object MySecond { def main(args:Array[Int]): Unit = { ...
2018-04-24 17:49:50
1827
我的第一个cordova项目和第一个插件
2017-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人