zhouzhihubeyond-CSDN博客

原创 Scala入门到精通——第十八节隐式转换与隐式参数（一）

本节主要内容隐式转换简介隐式转换函数隐式转换规则隐式参数1. 隐式转换简介在scala语言当中，隐式转换是一项强大的程序语言功能，它不仅能够简化程序设计，也能够使程序具有很强的灵活性。要想更进一步地掌握scala语言，了解其隐式转换的作用与原理是很有必要的，否则很难得以应手地处理日常开发中的问题。在scala语言中，隐式转换是无处不在的，只不过scala语言为我们隐藏了相应的细节，例如sc

2015-08-05 21:09:03 15715 5

原创 Scala入门到精通——第十六节泛型与注解

本节主要内容泛型(Generic Type）简介注解（Annotation）简介注解常用场景1. 泛型(Generic Type）简介泛型用于指定方法或类可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效地增强程序的适用性，使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景是集合及集中中的方法参数，可以说同java一样，scala中泛型无处不在，具体可以查看scala的a

2015-08-04 20:23:21 16533 3

原创 Scala入门到精通——第十七节类型参数（一）

本节主要内容类型变量界定(Type Variable Bound)视图界定（View Bound)上界（Upper Bound）与下界（Lower Bound）1. 类型变量界定(Type Variable Bound)类型变量界定是指在泛型的基础上，对泛型的范围进行进一步的界定，从而缩下泛型的具体范围，例如：//下面的类编译通不过//因为泛型T在编译的时候不能确定其具体类型//即并不

2015-08-03 22:27:08 15153 7

原创 Scala入门到精通——第十五节 Case Class与模式匹配（二）

本节主要内容模式匹配的类型for控制结构中的模式匹配option类型模式匹配1. 模式的类型1 常量模式object ConstantPattern{ def main(args: Array[String]): Unit = { //注意，下面定义的是一个函数 //函数的返回值利用的是模式匹配后的结果作为其返回值 //还需要注意的是函数定义在main方法中

2015-08-01 21:43:30 14889 4

原创 Scala入门到精通——第十四节 Case Class与模式匹配（一）

本节主要内容模式匹配入门Case Class简介Case Class应用实战1. 模式匹配入门在java语言中存在着switch语句，例如：//下面的代码演示了java中switch语句的使用public class SwitchDemo { public static void main(String[] args) { for(int

2015-08-01 16:11:47 36065 4

原创 Scala入门到精通——第十三节高阶函数

本节主要内容高阶函数简介Scala中的常用高阶函数SAM转换函数柯里化偏函数1. 高阶函数简介高阶函数主要有两种：一种是将一个函数当做另外一个函数的参数（即函数参数）；另外一种是返回值是函数的函数。这两种在本教程的第五节函数与闭包中已经有所涉及，这里简单地回顾一下：（1）函数参数//函数参数，即传入另一个函数的参数是函数//((Int)=>String)=>

2015-07-28 09:25:48 21469 6

原创 Scala入门到精通——第十二节 I/O与正则表达式

本节主要内容Scala I/O操作简介Scala 写文件Scala 读文件Scala 网络I/O正则表达式简介Scala正则表达式实战1. Scala I/O操作简介I/O操作是一门编程语言中的重要内容，在Scala中，它更多的是调用java中的I/O类或者通过对java中的I/O类进行相应的封装来实现I/O操作。在上一节内容中我们已经用到了I/O操作：trait FileLogger

2015-07-26 16:28:52 18056 5

原创 Scala入门到精通——第十一节 Trait进阶

本节主要内容trait构造顺序trait与类的比较提前定义与懒加载trait扩展类self type1 trait构造顺序在前一讲当中我们提到，对于不存在具体实现及字段的trait，它最终生成的字节码文件反编译后是等同于java中的接口，而对于存在具体实现及字段的trait，其字节码文件反编译后得到的java中的抽象类，它有着scala语言自己的实现方式。因此，对于trait它也有自己的

2015-07-26 11:04:10 16076 3

原创 Scala入门到精通——第十节 Scala类层次结构、Traits初步

本节主要内容Scala类层次结构总览Scala中原生类型的实现方式解析Nothing、Null类型解析Traits简介Traits几种不同使用方式1 Scala类层次结构Scala中的类层次结构图如下：来源:Programming in Scala从上面的类层次结构图中可以看到，处于继承层次最顶层的是Any类，它是scala继承的根类，scala中所有的类都是它的子类 Any类中定

2015-07-25 22:39:22 16481 3

原创 Scala入门到精通——第九节继承与组合

主要内容类的继承构造函数执行顺序方法重写匿名类多态与动态绑定组合与继承的使用1 类的继承下类的代码演示了scala类的继承//Person类class Person(name:String,age:Int){ println("Constructing Person")}//Student继承Person类class Student(name:S

2015-07-25 19:55:48 14803 3

原创 Scala入门到精通——第八节包和引入

本节主要内容包的作用与定义包的作用域与引入（import）的使用方法包的访问控制包对象隐式引入包的作用与定义同java中的包、C++中的命名空间一样，Scala中的包主要用于大型工程代码的组织同时也解决命名冲突的问题。Scala中的包与java有着诸多的相似之处，但Scala语言中的包更加灵活。//将代码组织到cn.scala.xtwy包中package cn.sc

2015-07-23 20:47:59 14328 1

原创 Scala入门到精通——第七节：类和对象（二）

本节主要内容单例对象伴生对象与伴生类apply方法应用程序对象抽象类单例对象在某些应用场景下，我们可能不需要创建对象，而是想直接调用方法，但是Scala语言并不技术静态成员，Scala通过单例对象来解决该问题。单例对象的创建方式如下：object Student { private var studentNo:Int=0; def uniqueStudentNo()={

2015-07-22 23:38:33 14332 1

原创 Scala入门到精通——第六节：类和对象（一）

本节主要内容1 类定义、创建对象 2 主构造器 3 辅助构造器类定义、创建对象1 类的定义//采用关键字class定义class Person { //类成员必须初始化，否则会报错 //这里定义的是一个公有成员 var name:String=null}Person类在编译后会生成Person.class文件利用javap -prviate Person命令查看字节码文件

2015-07-22 21:39:09 17259 8

转载 Scala入门到精通——第五节函数与闭包

本节主要内容（一）函数字面量（值函数）（二）匿名函数（三）函数的简化（四）函数参数（四）闭包函数字面量（值函数）函数字面量（function literal），也称值函数（function values），指的是函数可以赋值给变量。一般函数具有如下形式：而函数字面量具有如下形式：/* 函数字面量 function literal =>左侧的表示输入，右侧表示转换操作*/scala

2015-07-21 21:19:52 18996 5

原创 Scala入门到精通——第四节 Set、Map、Tuple、队列操作实战

本节主要内容mutable、immutable集合Set操作实战Map操作实战Tuple操作实战mutable、immutable集合以下内容来源于scala官方文档： http://www.scala-lang.org/docu/files/collections-api/collections.htmlScala collections systematically distingu

2015-07-21 13:08:27 43104 12

原创 Scala入门到精通——第三节 Array、List

本节主要内容数组操作实战列表List操作实战数组操作实战1 定长数组//定义一个长度为10的数值数组scala> val numberArray=new Array[Int](10)numberArray: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)//定义一个长度为10的String类型数组scala> val strArray=

2015-07-20 09:05:14 48523 5

原创 Scala入门到精通—— 第二节Scala基本类型及操作、程序控制结构

本节主要内容Scala基本类型基本类型操作Scala程序控制结构Scala基本类型Scala中的基本数据类型如下图：（来源：Programming in Scala）从上表中可以看出，Scala的基本数据类型与Java中的基本数据类型是一一对应的，不同的是Scala的基本数据类型头字母必须大写，本节以Int、Long、String、Char、Double及Float类型为例介绍Sca

2015-07-19 11:18:26 30371 6

原创 SparkSQL（Spark-1.4.0)实战系列（三）——SparkSQL应用案例

本节主要内容数据准备案例实战数据准备将实验数据Date.txt、Stock.txt、StockDetail.txt(hadoop fs -put /data /data）上传到HDFS上，如下图所示 Date.txt格式如下：//Date.txt文件定义了日期的分类，将每天分别赋予所属的月份、星期、季度等属性 //日期，年月，年，月，日，周几，第几周，季度，旬、半月 2014-12-2

2015-07-18 22:22:22 7892 2

原创 SparkSQL（Spark-1.4.0)实战系列（二）——DataFrames进阶

本节主要内容如下DataFrame与RDD的互操作实战不同数据源构建DataFrame实战DataFrame与RDD的互操作实战1 采用反映机制进行Schema类型推导（RDD到DataFrame的转换） SparkSQL支持RDD到DataFrame的自动转换，实现方法是通过Case类定义表的Schema，Spark会通过反射机制读取case class的参数名并将其配置成表的列名。//导

2015-07-17 19:21:46 3860

原创 SparkSQL（Spark-1.4.0)实战系列（一）——DataFrames基础

主要内容本教程中所有例子跑在Spark-1.4.0集群上DataFrames简介DataFrame基本操作实战DataFrames简介本文部分内容译自https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.htmlDataFrames在Spark-1.

2015-07-15 23:03:27 3745 1

原创 Spark-1.4.0集群搭建

主要内容Ubuntu 10.04 系统设置ZooKeeper集群搭建Hadoop-2.4.1集群搭建Spark 1.4.0集群搭建

2015-07-14 21:39:59 5912

原创 hadoop-2.2.0集群上运行Hive 0.13 出错的解决方案

Hadoop-2.2.0集群上运行Hive 0.13 出错的解决方案

2015-07-13 22:25:44 1721

原创 Scala-IDE Eclipse（Windows)中开发Spark应用程序，在Ubuntu Spark集群上运行

Scala-IDE EclipseWindows)中开发Spark应用程序，在Ubuntu Spark集群上运行在进行实际的Spark应用程序开发时，常常会利用Window环境进行程序开发，开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行，本教程教将一步一步地教大家如何进行该操作。

2015-07-11 18:43:00 7187 1