我们始终是路人

I'll try anything once.学习笔记

[排序]简单选择排序

private static void selectSort(int[] list) { int i, j, min; for (i = 0; i list.length; i++) { min = i; for (j...

2018-01-28 18:33:47

阅读数:37

评论数:0

[排序]冒泡排序及优化

private static void bubblesort(int[] list) { int i, j; //循环次数 for (i = 0; i list.length; i++) { //这里是从后往前循环 ...

2018-01-28 15:29:27

阅读数:32

评论数:0

Spark 广播规则

原文: https://www.kancloud.cn/kancloud/spark-internals/45238 顾名思义,broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多,比如 driver 上有一张表,其他节点上运行的 task 需要 lookup 这张表...

2018-01-20 12:25:16

阅读数:79

评论数:0

spark checkpoint

/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` an...

2018-01-20 12:15:23

阅读数:58

评论数:0

Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。 System.setProperty("hadoop.home.dir&...

2018-01-20 12:04:20

阅读数:146

评论数:0

Spark RDD的依赖关系

RDD和它依赖的父RDD(s)的关系有两种不同的类型即 窄依赖(narrow dependency) 宽依赖(wide dependency)。 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结:窄依赖我们形象的比喻为独生子女 宽依赖指的...

2018-01-20 11:54:31

阅读数:63

评论数:0

Spark 安装配置启动,蒙特·卡罗算法求PI

Apache Spark是一个开源集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存内运算技术,能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hado...

2018-01-20 11:20:24

阅读数:184

评论数:0

Scala apply() unapply() update() 方法

apply()有如下类和伴生对象class Test {}object Test { def apply(): Test = new Test() def main(args: Array[String]): Unit = { println(Test()) println(...

2018-01-13 12:56:19

阅读数:76

评论数:0

Scala 隐式转换 隐式参数

隐式转换 所谓隐式转换函数(implicit conversion function)指的是那种以implicit 关键字声明的带有单个参数的函数 首先,看这个例子implicit def file2RichFile(from: File): RichFile = new RichFile(f...

2018-01-13 12:13:49

阅读数:57

评论数:0

Scala 类的主构造方法中属性修饰符的作用与区别

众所周知,Scala 是运行于Java平台(Java虚拟机)的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么. Scala 源代码 class Test4(a: String) class Test5(val b...

2018-01-13 11:12:54

阅读数:71

评论数:0

Scala 类中属性和属性生成的方法的区别

众所周知,Scala 是运行于Java平台(Java虚拟机)的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么. 首先我们有一个Scala 源文件//Scala源代码 class Test3 { val a = &quo...

2018-01-13 10:36:47

阅读数:58

评论数:0

Scala 介绍 下载 IntelliJ IDEA 插件安装 配置

介绍 维基百科: Scala(发音为/ˈskɑːlə, ˈskeɪlə/)是一门多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 官方网站 http://www.scala-lang.org/ 下载 注意: 确定电脑装有 1.8 或 更高版本的 ...

2018-01-13 09:37:31

阅读数:654

评论数:0

Scala 入门 函数/方法

函数函数定义需要 => 符号val fun1 = (x: Int, y: Int) => x + y方法def test(f: (Int, Int) => Int): Int = { f(3, 3) }

2018-01-08 22:02:47

阅读数:138

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭