2015年08月_zhouzhihubeyond

12月 11月 10月 09月 08月 07月

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第六节：vi、vim编辑器（二）

本节主要内容缓冲区的使用文件的存盘与读盘文本查找文本替换1. 缓冲区的使用在利用vim进行文本编辑时，编辑修改后的文本不会立即保存到硬盘上，而是保存在缓冲区中，如果没有把缓冲区里的文件存盘，原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中，在进行文本编辑时，修改的文本保存在缓冲区，此时硬盘上的原文件不变。下面让我们来演示一下缓冲区的使用。假设采用vim 同时打开两个文本文件

2015-08-25 21:23:15 6311 1

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第五节：vi、vim编辑器（一）

本节主要内容vim编辑器的三种模式移动光标输入模式修改文本作者：周志湖微信号：zhouzhihubeyond 网名：摇摆少年梦1. vi编辑器的三种模式学会使用vi编辑器是学习linux系统的必备技术之一，因为一般的linux服务器是没有GUI界面的，linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linux内置的文本编辑器，几乎所有的类uni

2015-08-25 15:48:14 5126

原创 Spark修炼之道系列教程预告

课程内容Spark修炼之道（基础篇）——Linux基础（12讲）大纲Spark修炼之道（进阶篇）——Spark入门到精通（30讲）大纲Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）大纲Spark修炼之道（高级篇）——Spark源码解析（50讲）大纲1. Spark修炼之道（基础篇）——Linux基础（12讲）大纲2. Spark修炼之道（进阶篇）——Spa

2015-08-24 09:56:35 11556 32

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第四节：Linux文件系统（二）

本节主要内容访问控制列表ACL链接压缩和归档文件其他日常管理实用程序1. 访问控制列表ACL在实际使用使用过程中，可能linux系统自身权限控制不能满足要求，还需要进一步细化，此时可以用ACL（ Access Control List ）进行，它主要提供 owner,group,others 的 read,write,execute 权限之外的细部权限配置。它可以针对单一使用者，单一文件或

2015-08-23 22:48:11 5191

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第三节：用户和组

本节主要内容理解用户和组的概念用户管理组管理权限分配1. 理解用户和组的概念在第一讲中我们提到，linux是一种多任务、多用户的操作系统，在讲ls -l命令行我们看到如下文件详细信息：root@ubuntu:/home/xtwy# ls -ltotal 48drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktopdrwxr-xr-x 2

2015-08-23 14:47:19 5851

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第二节：Linux文件系统、目录（一）

本节主要内容如何获取帮助文档Linux文件系统简介目录操作访问权限1. 如何获取帮助文档在实际工作过程当中，经常会忘记命令的使用方式，例如ls命令后面可以跟哪些参数，此时可以使用man命令来查看其使用方式，例如//man命令获取命令帮助手册xtwy@ubuntu:~$ man ls可以使用键盘上的来显示下一行或上一行命令，也可以使用进行上一页或下一页（屏）

2015-08-23 09:03:22 7784 2

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第一节、Linux介绍、安装及使用初步

本节主要内容Linux简史Linux特点Ubuntu Linux安装Linux使用初步1. Linux简史要讲述大名鼎鼎的Linux，必然要先从UNIX系统谈起，下面这幅图给出了Unix系统的进化图：图片来源：http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8Bu

2015-08-21 18:15:14 10202 9

原创 Spark修炼之道——Spark学习路线、课程大纲

课程内容Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲）Spark修炼之道（进阶篇）——Spark入门到精通（30讲）Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）Spark修炼之道（高级篇）——Spark源码解析（50讲）部分内容会在实际编写时动态调整，或补充、或删除。Spark修炼之道（基础篇）——Linux大数据开发基础（15讲

2015-08-19 19:58:37 20460 25

原创 Scala书籍推荐

现有的Scala书箱包括：Programming In Scala。Scala创建者Martin Ordersky等的大作，是最权威的Scala入门书箱，不过书中讲解的Scala版本有点老，这本书整体给我的感觉还可以，只是有些例子举得感觉不适合初学者。这部大作有中文版，但翻译得真实太烂，ZTMD烂。Scala In Action. 一般来讲，In Action系列的书都还可以，这本书整体也还不错

2015-08-19 12:33:07 25334 7

原创 Scala入门到精通——第一节 Scala语言初步

本节主要内容Scala简介为什么要学习ScalaScala语言初步1. Scala简介Scala(Scala Language的简称)语言是一种能够运行于JVM和.Net平台之上的通用编程语言，既可用于大规模应用程序开发，也可用于脚本编程，它由由Martin Odersk于2001开发，2004年开始程序运行在JVM与.Net平台之上，由于其简洁、优雅、类型安全的编程模式而受到

2015-08-18 09:35:19 53424 2

原创 Scala入门到精通——第三十节 Scala脚本编程与结束语

本节主要内容REPL命令行高级使用使用Scala进行Linux脚本编程结束语1. REPL命令行高级使用在使用REPL命令行时，有时候我们需要粘贴的代码比较大，而普通的粘贴可能会些一些问题，比如中文粘贴会出现乱码、多行代码粘贴时会出错，此时需要用到REPL的高级功能。在日常开发过程中，我们粘贴多行代码的时候会遇到下列问题：//本意是要粘贴下面两行代码class Person(val nam

2015-08-17 16:40:43 15976 3

原创 Scala入门到精通——第二十九节 Scala数据库编程

本节主要内容Scala Maven工程的创建Scala JDBC方式访问MySQLSlick简介Slick数据库编程实战SQL与Slick相互转换本课程在多数内容是在官方教程上修改而来的，官方给的例子是H2数据库上的，经过本人改造，用在MySQL数据库上，官方教程地址：http://slick.typesafe.com/doc/2.1.0/sql-to-slick.html1. Scal

2015-08-17 14:36:06 16696 4

原创 Scala入门到精通——第二十八节 Scala与JAVA互操作

本节主要内容 1. JAVA中调用Scala类 2. Scala中调用JAVA类 3. Scala类型参数与JAVA泛型操作 4. Scala与Java间的异常处理

2015-08-16 19:54:24 28223

原创 Scala入门到精通——第二十七节 Scala操纵XML

本节主要内容XML 字面量XML内容提取XML对象序列化及反序列化XML文件读取与保存XML模式匹配1. XML 字面量XML是一种非常重要的半结构化数据表示方式，目前大量的应用依赖于XML，这些应用或利用XML作为数据交换格式，或利用XML进行文件配置等。像JAVA、C++及其它流行的程序开发语言都是依赖于第三方库来实现XML的操作，例如JAVA经常通过JDOM，DOM4J等XML处理

2015-08-15 21:10:10 14134

原创 Scala入门到精通——第二十六节 Scala并发编程基础

本节主要内容Scala并发编程简介Scala Actor并发编程模型react模型Actor的几种状态Actor深入使用解析1. Scala并发编程简介2003 年，Herb Sutter 在他的文章 “The Free Lunch Is Over” 中揭露了行业中最不可告人的一个小秘密，他明确论证了处理器在速度上的发展已经走到了尽头，并且将由全新的单芯片上的并行 “内核”（虚拟 CPU

2015-08-15 14:12:15 18076 3

原创 Scala入门到精通——第二十五节提取器（Extractor）

作者：摇摆少年梦视频地址：http://www.xuetuwuyou.com/course/12本节主要内容apply与unapply方法零变量或变量的模式匹配提取器与序列模式scala中的占位符使用总结1. apply与unapply方法apply方法我们已经非常熟悉了，它帮助我们无需new操作就可以创建对象，而unapply方法则用于析构出对象，在模式匹配中特别提到，如果一个类要能

2015-08-15 06:38:33 14180 2

原创 Scala入门到精通——第二十四节高级类型（三）

作者：摆摆少年梦视频地址：http://blog.csdn.net/wsscy2004/article/details/38440247本节主要内容Type SpecializationManifest、TypeTag、ClassTagScala类型系统总结在scala中，类(class)与类型(type)是两个不一样的概念。我们知道类是对同一类型数据的抽象，而类型则更具体。比如定义cl

2015-08-13 12:19:23 14816 1

原创 Scala入门到精通——第二十三节高级类型（二）

本节主要内容中置类型(Infix Type)存在类型函数类型抽象类型关于语法糖的问题，在讲解程序语言时，我们常常听到“语法糖”这个术语，在百度百科中，它具有如下定义：语法糖（Syntactic Sugar），也叫糖衣语法，是英国计算机科学家彼得·约翰·兰达(Peter J. Landin)发明的一个术语。指的是，在计算机语言中添加某种语法，这种语法能使程序员更方便的使用语

2015-08-11 19:50:13 12355 4

原创 Scala入门到精通——第二十二节高级类型（一）

本节主要内容this.type使用类型投影结构类型复合类型1. this.type使用class Person{ private var name:String=null private var age:Int=0 def setName(name:String)={ this.name=name //返回对象本身 this } def setAg

2015-08-10 20:16:07 14375 1

原创 Scala入门到精通——第二十一节类型参数（三）-协变与逆变

本节主要内容协变逆变类型通匹符1. 协变协变定义形式如：trait List[+T] {} 。当类型S是类型A的子类型时，则List[S]也可以认为是List[A}的子类型，即List[S]可以泛化为List[A]。也就是被参数化类型的泛化方向与参数类型的方向是一致的，所以称为协变（covariance）。为方便大家理解，我们先分析java语言中为什么不存在协变及下一

2015-08-09 16:14:55 15735 8

原创 Scala入门到精通——第二十节类型参数（二）

本节主要内容上下文界定（Context Bound）多重界定类型约束型变1. 上下文界定在第十七节中的类型参数（一）中，我们提到视图界定可以跨越类继承层次结构，其后面的原理是隐式转换。本节要介绍的上下文界定采用隐式值来实现，上下文界定的类型参数形式为T：M的形式，其中M是一个泛型，这种形式要求存在一个M[T]类型的隐式值：case class Person(val name:String)

2015-08-08 17:02:01 18226 6

原创 Scala入门到精通——第十九节隐式转换与隐式参数（二）

作者：摇摆少年梦配套视频地址：http://www.xuetuwuyou.com/course/12本节主要内容隐式参数中的隐式转换函数中隐式参数使用概要隐式转换问题梳理1. 隐式参数中的隐式转换前一讲中，我们提到函数中如果存在隐式参数，在使用该函数的时候如果不给定对应的参数，则编译器会自动帮我们搜索相应的隐式值，并将该隐式值作为函数的参数，这里面其实没有涉及到隐式转换，本节将演示如何利

2015-08-07 11:04:47 14387 5

原创 Scala入门到精通——第十八节隐式转换与隐式参数（一）

本节主要内容隐式转换简介隐式转换函数隐式转换规则隐式参数1. 隐式转换简介在scala语言当中，隐式转换是一项强大的程序语言功能，它不仅能够简化程序设计，也能够使程序具有很强的灵活性。要想更进一步地掌握scala语言，了解其隐式转换的作用与原理是很有必要的，否则很难得以应手地处理日常开发中的问题。在scala语言中，隐式转换是无处不在的，只不过scala语言为我们隐藏了相应的细节，例如sc

2015-08-05 21:09:03 15714 5

原创 Scala入门到精通——第十六节泛型与注解

本节主要内容泛型(Generic Type）简介注解（Annotation）简介注解常用场景1. 泛型(Generic Type）简介泛型用于指定方法或类可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效地增强程序的适用性，使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景是集合及集中中的方法参数，可以说同java一样，scala中泛型无处不在，具体可以查看scala的a

2015-08-04 20:23:21 16531 3

原创 Scala入门到精通——第十七节类型参数（一）

本节主要内容类型变量界定(Type Variable Bound)视图界定（View Bound)上界（Upper Bound）与下界（Lower Bound）1. 类型变量界定(Type Variable Bound)类型变量界定是指在泛型的基础上，对泛型的范围进行进一步的界定，从而缩下泛型的具体范围，例如：//下面的类编译通不过//因为泛型T在编译的时候不能确定其具体类型//即并不

2015-08-03 22:27:08 15153 7

原创 Scala入门到精通——第十五节 Case Class与模式匹配（二）

本节主要内容模式匹配的类型for控制结构中的模式匹配option类型模式匹配1. 模式的类型1 常量模式object ConstantPattern{ def main(args: Array[String]): Unit = { //注意，下面定义的是一个函数 //函数的返回值利用的是模式匹配后的结果作为其返回值 //还需要注意的是函数定义在main方法中

2015-08-01 21:43:30 14886 4

原创 Scala入门到精通——第十四节 Case Class与模式匹配（一）

本节主要内容模式匹配入门Case Class简介Case Class应用实战1. 模式匹配入门在java语言中存在着switch语句，例如：//下面的代码演示了java中switch语句的使用public class SwitchDemo { public static void main(String[] args) { for(int

2015-08-01 16:11:47 36060 4