![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
刀砍磁感线
这个作者很懒,什么都没留下…
展开
-
scala 在 spark 中操作 hdfs
问题场景:在编写spark程序时,输出目录存在会造成spark任务失败。处理方法有2种,第一利用脚本方式,在主任务之上加层处理,第二,在spark任务中先处理掉目录。spark支持的可编程语言有Scala、Python、Java。其中Python无需编译打包,十分方便,但是貌似没有处理hdfs系统的Python接口,而Python的执行脚本语言是异步于主任务的,换言之,主任务与脚本任务的执行完成顺原创 2015-07-08 10:00:47 · 7562 阅读 · 0 评论 -
breeze densematrix 基本操作
代码如下:val matrix1 = BDM((1.0, 2.0, 3.0, 0.0), (3.0, 4.0, 5.0, 0.0), (5.0, 6.0, 7.0, 0.0))val matrix2 = DenseMatrix.ones[Double](3,4)println(matrix1.activeSize)println(matrix1.cols)pri原创 2015-07-27 18:06:45 · 5377 阅读 · 0 评论 -
scala 调用 Java 的 fastjson 处理 json
实例:package com.lmimport com.alibaba.fastjson.JSONobject JsonDemo { def main(args: Array[String]) { val text = "{\"name\":\"name1\", \"age\":55}" val json = JSON.parseObject(text原创 2015-07-08 13:56:56 · 10508 阅读 · 0 评论 -
scala 随机数函数截取 spark 数据集
scala代码:scala.math.abs(scala.util.Random.nextInt())%27scala.math.abs:绝对值scala.util.Random.nextInt:随机数应用,截取spark数据集:val data = sc.textFile("hdfs://localhost:9000/ModelData/*").f原创 2015-07-14 17:33:06 · 4595 阅读 · 0 评论 -
spark1.2 使用breeze 的 netlib.BLAS 异常
使用spark1.2 的 standalone 模式运行使用breeze的任务,报如下警告:15/07/28 02:49:32 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS15/07/28 02:49:32 WARN netlib.BLAS: F原创 2015-07-29 20:06:58 · 6491 阅读 · 2 评论