refuil的博客

原创 spark 各内部机制流程图

原创 快学scala 第十二章 高阶函数 读书笔记及习题答案代码

chapter 12 高阶函数 标签：快学scala 一、笔记 scala可以在变量里存放函数，比如： import scala.math._val num = 3.14val fun = ceil _ //fun: Double => Double = 从技术上讲，_将ceil方法转成了函数，scala中，无法直接操纵方法，而只能直接操纵函数

原创 spark快速入门与WordCount程序机制深度解析 spark研习第二季

2、spark wordCount程序深度剖析 标签： spark 一、Eclipse(scala IDE)开发local和cluster （一）. 配置开发环境 要在本地安装好java和scala。  由于spark1.6需要scala 2.10.X版本的。推荐 2.10.4，java版本最好是1.8。所以提前我们要需要安装好java和scala并在环境变量中配

原创 快学scala 第十一章 操作符 读书笔记及习题答案代码

chapter 11 操作符 标签：快学scala 一、笔记 scala种可以在反引号中包含几乎任何字符序列, val 'val' = 42 所有的操作符都是左结合的，除了以冒号(:)结尾的操作符，和赋值操作符。用于构造列表的::操作符是又结合的。1::2::Ni1的意思是1::(2::Ni1)，先创建出包含2的列表，这个列表又被作为尾巴拼接到以1作为头部的列表中

原创 spark集群与spark HA高可用快速部署 spark研习第一季

1、spark 部署 标签： spark 0 apache spark项目架构 spark SQL -- spark streaming -- MLlib -- GraphX 0.1 hadoop快速搭建，主要利用hdfs存储框架 下载hadoop-2.6.0，解压，到etc/hadoop/目录下 0.2 快速配置文件

原创 快学scala 第十章 特质 读书笔记及习题答案代码

chapter 10 特质 标签：快学scala 一、笔记 scala和java一样不允许从多个超类继承，scala提供特质而非接口。特质可以同时拥有抽象方法和具体方法，而类可以实现多个特质。  不需要将方法声明为abstract，特质中未被实现的方法默认就是抽象的。在重写特质的抽象方法时不需要给出override关键字。特质跟类更为相像。用with添加额外的特质：

原创 快学scala 第九章 文件和正则表达式 读书笔记及习题答案代码

chapter 9 文件和正则表达式 标签：快学scala 一、笔记 读取文件的所有行，可以调用scala.io.Source对象的getLines方法： import scala.io.Source val source = Source.fromFile("test.txt", "UTF-8")val lineIterator = source.getL

原创 快学scala 第八章 继承 读书笔记及习题答案代码

chapter 8 继承 标签：快学scala 一、笔记 scala中重写一个非抽象方法必须使用override修饰符。scala中调用超类方法与java完全一样： public class Employee extends Person{ override def toString = super.toString + "[salary=" + sa

原创 快学scala 第七章 包和引入 读书笔记及习题答案代码

chapter 7 包和引入 标签：快学scala 一、笔记 scala中的包名是相对的，源文件的目录与包之间没有强制的关联关系，完全可以在同一文件中为多个包贡献内容。  包可以包含类、对象和特质，但是不能包含函数和变量的定义，这是java虚拟机的局限，但是包对象package object可以。当引入包的几个成员，使用选取器(selector)  import

原创 快学scala 第6章 对象 读书笔记及习题答案代码

chapter 6 对象 标签：快学scala 一、笔记 如果一个对象从未被使用，那么其构造器也不会被执行。对象本质上可以拥有类的所有特性，它甚至可以扩展其他类或特质。但不能提供构造器参数。  java中通常用到既有实例方法又有静态方法的类，scala中可以通过类与类同名的“伴生”对象来达到同样目的。类与其伴生对象可以互相访问私有特性，必须在同一源文件中。一个app

原创 快学scala 第五章 读书笔记及习题答案代码

chapter 5 类 标签：快学scala 一、笔记 scala类方法默认是公有的， class Counter{ private val value = 0 def increment() { value += 1} def current() = value}val = myCounter = new Counter //或new

原创 快学scala 第四章 读书笔记及习题答案代码

chapter 4 元组与映射 标签：快学scala 一、笔记 默认Map为不可变映射，可变映射定义： scala> val scores = scala.collection.mutable.Map("Allic"->1, "Bob"->3, "Cindy"->8)scala> val scores = new scala.collection.mutab

原创 快学scala 第三章 读书笔记及习题答案代码

chapter 3 数组相关操作 标签：快学scala 一、笔记 scala的Array以java数组方式实现，数组在JVM中的类型为java.lang.String[]. scala> import scala.collection.mutable.ArrayBufferimport scala.collection.mutable.ArrayBuffer

原创 快学scala 第二章 读书笔记及习题答案代码

chapter 2 控制结构和函数 标签：快学scala 一、笔记 scala的if/else表达式有值，这个值就是跟在if或else之后的表达式的值。所以可以赋值给变量。每个表达式都有一个类型。 val s = if(x>0) 1 else -1 if (x>0) "positive" else -1  这个表达式类型是两个分支类型的公共超类型，第

原创 快学scala 第一章 读书笔记及习题答案代码

chapter 1 scala基础 标签：快学scala 《快学scala》原书《scala for the Impatient》 一、笔记 技术上讲，scala程序并不是一个解释器。实际发生的是，输入的内容被编译成字节码，然后字节码交由Java虚拟机执行。  不需要给出值或变量的类型，这个信息可以从你用来初始化它的表达式推断出来。但是，声明值和变量一定要初始

原创 3. Java 语法基础 类型 条件语句 数组

3. Java 语法基础 类型 条件语句 数组 标签： java 3.1 变量 –Java中的变量有四种：  •实例变量（成员变量）  •静态变量  •局部变量  •参数  –变量的命名  •任何变量名称都是以任意长度的Unicode编码的字符组成的，首字符必须是字母、美元符或者是下划线，后面跟字母、数字、美元符或下划线  –通常来说，我们建议类的名

原创 2.Java 程序与结构

2. Java 程序与结构 标签： java 2.1 Heloword 该运行你的第一个Java程序了  –建立以下内容的文本文件： public class Test { public static void main(String[] args) { System.out.println(“Hello world!”); }} –将以上内容

原创 Java环境jdk安装

1. Java环境jdk安装 标签： java 1.1 jdk安装 http://www.centoscn.com/image-text/install/2015/0217/4721.html 一般情况下，我们都要将linux自带的OPENJDK卸载掉，然后安装SUN的JDK。  首先查看Linux自带的JDK是否已安装。  输入如下命令，查看已经安装的JA