2018年01月_我们始终是路人

原创 [排序]简单选择排序

private static void selectSort(int[] list) { int i, j, min; for (i = 0; i list.length; i++) { min = i; for (j = i + 1; j list.length; j++) { if

2018-01-28 18:33:47 204

原创 [排序]冒泡排序及优化

private static void bubblesort(int[] list) { int i, j; //循环次数 for (i = 0; i list.length; i++) { //这里是从后往前循环 for (j = list.length - 2; j >= i; j--) {

2018-01-28 15:29:27 183

转载 Spark 广播规则

原文: https://www.kancloud.cn/kancloud/spark-internals/45238顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运行的 task 需要 lookup 这张表，那么 driver 可以先把这张表 copy 到这些节点，这样 task 就可以在本地查表了。如何实

2018-01-20 12:25:16 666

原创 spark checkpoint

/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` and all references to its parent * RDDs will be re

2018-01-20 12:15:23 258

原创 Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin") val conf = new Spar

2018-01-20 12:04:20 2683

原创 Spark RDD的依赖关系

RDD和它依赖的父RDD（s）的关系有两种不同的类型即窄依赖（narrow dependency）宽依赖（wide dependency）。窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用总结：窄依赖我们形象的比喻为独生子女宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 总结：窄依赖我们形象的比

2018-01-20 11:54:31 291

Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[

2018-01-20 11:20:24 510

原创 Scala apply() unapply() update() 方法

apply()有如下类和伴生对象class Test {}object Test { def apply(): Test = new Test() def main(args: Array[String]): Unit = { println(Test()) println(Test()) }}程序执行的结果:Test@10dba097Test@1786f9d5可知,当

2018-01-13 12:56:19 582

原创 Scala 隐式转换隐式参数

隐式转换所谓隐式转换函数(implicit conversion function)指的是那种以implicit 关键字声明的带有单个参数的函数首先,看这个例子implicit def file2RichFile(from: File): RichFile = new RichFile(from)这是一个隐式转换方法,方法名为 file2RichFile 意为File转换成RichFile类

2018-01-13 12:13:49 255

原创 Scala 类的主构造方法中属性修饰符的作用与区别

众所周知,Scala 是运行于Java平台（Java虚拟机）的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么.Scala 源代码class Test4(a: String)class Test5(val b: String, var c: String)class Test6(private val d

2018-01-13 11:12:54 620

原创 Scala 类中属性和属性生成的方法的区别

众所周知,Scala 是运行于Java平台（Java虚拟机）的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么.首先我们有一个Scala 源文件//Scala源代码class Test3 { val a = "a" var b = "b" private val c = "c" private var d =

2018-01-13 10:36:47 476

原创 Scala 介绍下载 IntelliJ IDEA 插件安装配置

介绍维基百科: Scala（发音为/ˈskɑːlə, ˈskeɪlə/）是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。官方网站 http://www.scala-lang.org/下载注意: 确定电脑装有 1.8 或更高版本的 JDK 1. 首先进入Scala 官网点击download 按钮 2. 将网页下拉到最后

2018-01-13 09:37:31 2639

原创 Scala 入门函数/方法

函数函数定义需要 => 符号val fun1 = (x: Int, y: Int) => x + y方法def test(f: (Int, Int) => Int): Int = { f(3, 3) }

2018-01-08 22:02:47 289

我们始终是路人