zhouzhihubeyond-CSDN博客

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十一节：Shell编程入门（三)

本节主要内容shell数组shell命令别名时间操作1. Shell数组同C、C++等语言一样，shell脚本也提供了数组这样一个重要的数据结构，shell中的数组有两种，一种为普通数组，另外的一种称为关联数组。普通数据的存取通过整数进行，关联数组的存取通过字符串进行。具体如下://用()定义一个数组，注意数组元素间不能用,否则达不到预期目的root@sparkmaster:~/Shell

2015-10-05 15:34:22 4166

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十节：Shell编程入门（二)

本节主要内容 1. shell命令行中的基本运算 2. 文件描述符与文件重定向

2015-10-04 21:47:42 4160 3

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第九节：Shell编程入门(一)

本节主要内容shell编程简介变量定义常用特殊变量1. shell编程简介学习linux操作系统最让人着迷的事情莫过于shell脚本编程，这是因为如果要完成某些复杂的功能，单纯地通过GUI操作不可能达到，shell脚本可以直接与操作系统内核打交道，从而完成任意复杂的任务。shell有很多种，最常用的是Bash (Bourne Again Shell)，它是Linux操作系统默认的shell环

2015-09-30 22:42:19 11050 5

原创浅谈Spark几种不同的任务提交相关脚本（以Spark 1.5.0为例）

本节主要内容spark-shellspark-submitspark-sqlspark-class总结1. spark-shellspark-shell脚本文件内容如下：#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor licens

2015-09-30 10:18:11 8674

翻译 Databricks：2015 Spark调查报告（部分译文）

译者：摇摆少年梦原文地址：https://databricks.com/blog/2015/09/24/spark-survey-results-2015-are-now-available.htmlSAN FRANCISCO, CA–(Marketwired - Sep 24, 2015) - 由Apache Spark创建者所成立的公司——Databricks公司，对外发布了Spark 20

2015-09-27 10:24:57 8263 1

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第八节 Spark SQL与DataFrame（一)

本节主要内宾Spark SQL简介DataFrame1. Spark SQL简介Spark SQL是Spark的五大核心模块之一，用于在Spark平台之上处理结构化数据，利用Spark SQL可以构建大数据平台上的数据仓库，它具有如下特点：（1）能够无缝地将SQL语句集成到Spark应用程序当中（2）统一的数据访问方式 DataFrames and SQL provide a c

2015-09-26 16:30:23 15315 4

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第七节 Spark运行原理

本节主要内容Spark运行方式Spark运行原理解析本节内容及部分图片来自： http://blog.csdn.net/book_mmicky/article/details/25714419 http://blog.csdn.net/yirenboy/article/details/47441465 这两篇文件对Spark的运行架构原理进行了比较深入的讲解，写得非常好，建议大家认真看一

2015-09-22 19:54:01 22691 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第六节 Spark编程模型（三)

本节主要内容RDD transformation（续)RDD actions1. RDD transformation（续)（1）repartitionAndSortWithinPartitions(partitioner) repartitionAndSortWithinPartitions函数是repartition函数的变种，与repartition函数不同的是，repartition

2015-09-21 22:13:12 14084 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第五节 Spark编程模型（二)

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本文主要内容RDD 常用Transformation函数1. RDD 常用Transformation函数（1）union union将两个RDD数据集元素合并，类似两个集合的并集 union函数参数： /** * Return the union of this RDD and another one. Any

2015-09-20 23:18:55 12933

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第四节 Spark编程模型（一)

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容Spark重要概念弹性分布式数据集（RDD）1. Spark重要概念本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-overview.html（1）Spark运行模式目前最为常用的Spark运行模式有： - l

2015-09-20 19:43:13 38017 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第三节 Spark Intellij IDEA开发环境搭建

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容Intellij IDEA 14.1.4开发环境配置Spark应用程序开发1. Intellij IDEA 14.1.4开发环境配置Intellij IDEA 功能十分强大，能够开发JAVA、Scala等相关应用程序，在依赖管理智能提示等方面做到了极致，大家可以到:http://ww

2015-09-19 21:21:32 21148 5

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第二节 Hadoop、Spark生成圈简介

本节主要内容Hadoop生态圈Spark生态圈1. Hadoop生态圈原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df92dc418df5a1083411b53325 下图给出

2015-09-19 19:27:53 15011 1

原创 Machine Learning on Spark——第四节统计基础（二)

作者：周志湖微信号：zhouzhihubeyond本节主要内容Correlation 相关性分析分层采样（Stratified sampling）随机数据生成（Random data generation）1. Correlation 相关性分析相关性分析用于研究两个随机变量之间的依赖关系，它是统计学当中的一种十分重要的方法，在Spark中只实现了两种相关性分析方法，分别是皮尔逊（Pea

2015-09-14 22:43:43 6131

原创 Machine Learning on Spark——第三节统计基础（一)

作者：周志湖微信号：zhouzhihubeyond本文主要内容本文对了org.apache.spark.mllib.stat包及子包中的相关统计类进行介绍，stat包中包括下图中的类或对象: 本文将对其中的内容进行详细讲解获取矩阵列（column-wise）统计信息Kernel density estimation（核密度估计)Hypothesis testing（假设检验)1.

2015-09-14 17:12:31 6048

原创 Machine Learning On Spark——第二节：基础数据结构（二)

本节主要内容IndexedRowMatrixBlockMatrix1. IndexedRowMatrix的使用IndexedRowMatrix，顾名思义就是带索引的RowMatrix，它采用case class IndexedRow(index: Long, vector: Vector)类来表示矩阵的一行，index表示的就是它的索引，vector表示其要存储的内容。其使用方式如下：pack

2015-09-14 10:42:40 5748

原创 Machine Learning On Spark——第一节：基础数据结构（一)

## 本节主要内容 ## 1. 本地向量和矩阵 2. 带类标签的特征向量（Labeled point） 3. 分布式矩阵## 1. 本地向量和矩阵 ##本地向量（Local Vector）存储在单台机器上，索引采用0开始的整型表示，值采用Double类型的值表示。Spark MLlib中支持两种类型的矩阵，分别是密度向量（Dense Vector）和稀疏向量（Spasre Vector），密度向量会存

2015-09-13 21:31:02 15544 6

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第八节：网络管理

## 本节主要内容 ## 1. ifconfig命令 2. 网络配置 3. 其它常用网络管理命令##1. ifconfig命令##ifconfig命令主要用于配置网络接口，如果不加任何参数，则ifconfig命令用于查看当前所有活动网络接口的状态信息，例如：![这里写图片描述](http://img.blog.csdn.net/20150902203702705)图中的eth0表示活动的以太网接口，

2015-09-02 21:59:09 7767 3

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第七节：进程管理

## 本节主要内容 ## 1. 进程管理简介 2. 进程管理常用命令 3. 计划任务 ## 1. 进程管理简介 ##### （1）进程概念进程是操作系统中非常重要的一个概念，进程是程序的执行过程，相对于程序，进程是动态的，在linux系统中，它与用户权限相关，程序与进程并没有一一对应，一个程序可能对应多个进程，例如：

2015-09-02 09:25:54 7457 3

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第六节：vi、vim编辑器（二）

本节主要内容缓冲区的使用文件的存盘与读盘文本查找文本替换1. 缓冲区的使用在利用vim进行文本编辑时，编辑修改后的文本不会立即保存到硬盘上，而是保存在缓冲区中，如果没有把缓冲区里的文件存盘，原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中，在进行文本编辑时，修改的文本保存在缓冲区，此时硬盘上的原文件不变。下面让我们来演示一下缓冲区的使用。假设采用vim 同时打开两个文本文件

2015-08-25 21:23:15 6351 1

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第五节：vi、vim编辑器（一）

本节主要内容vim编辑器的三种模式移动光标输入模式修改文本作者：周志湖微信号：zhouzhihubeyond 网名：摇摆少年梦1. vi编辑器的三种模式学会使用vi编辑器是学习linux系统的必备技术之一，因为一般的linux服务器是没有GUI界面的，linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linux内置的文本编辑器，几乎所有的类uni

2015-08-25 15:48:14 5171

原创 Spark修炼之道系列教程预告

课程内容Spark修炼之道（基础篇）——Linux基础（12讲）大纲Spark修炼之道（进阶篇）——Spark入门到精通（30讲）大纲Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）大纲Spark修炼之道（高级篇）——Spark源码解析（50讲）大纲1. Spark修炼之道（基础篇）——Linux基础（12讲）大纲2. Spark修炼之道（进阶篇）——Spa

2015-08-24 09:56:35 11589 32

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第四节：Linux文件系统（二）

本节主要内容访问控制列表ACL链接压缩和归档文件其他日常管理实用程序1. 访问控制列表ACL在实际使用使用过程中，可能linux系统自身权限控制不能满足要求，还需要进一步细化，此时可以用ACL（ Access Control List ）进行，它主要提供 owner,group,others 的 read,write,execute 权限之外的细部权限配置。它可以针对单一使用者，单一文件或

2015-08-23 22:48:11 5231

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第三节：用户和组

本节主要内容理解用户和组的概念用户管理组管理权限分配1. 理解用户和组的概念在第一讲中我们提到，linux是一种多任务、多用户的操作系统，在讲ls -l命令行我们看到如下文件详细信息：root@ubuntu:/home/xtwy# ls -ltotal 48drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktopdrwxr-xr-x 2

2015-08-23 14:47:19 5885

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第二节：Linux文件系统、目录（一）

本节主要内容如何获取帮助文档Linux文件系统简介目录操作访问权限1. 如何获取帮助文档在实际工作过程当中，经常会忘记命令的使用方式，例如ls命令后面可以跟哪些参数，此时可以使用man命令来查看其使用方式，例如//man命令获取命令帮助手册xtwy@ubuntu:~$ man ls可以使用键盘上的来显示下一行或上一行命令，也可以使用进行上一页或下一页（屏）

2015-08-23 09:03:22 7829 2

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第一节、Linux介绍、安装及使用初步

本节主要内容Linux简史Linux特点Ubuntu Linux安装Linux使用初步1. Linux简史要讲述大名鼎鼎的Linux，必然要先从UNIX系统谈起，下面这幅图给出了Unix系统的进化图：图片来源：http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8Bu

2015-08-21 18:15:14 10242 9

原创 Spark修炼之道——Spark学习路线、课程大纲

课程内容Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲）Spark修炼之道（进阶篇）——Spark入门到精通（30讲）Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）Spark修炼之道（高级篇）——Spark源码解析（50讲）部分内容会在实际编写时动态调整，或补充、或删除。Spark修炼之道（基础篇）——Linux大数据开发基础（15讲

2015-08-19 19:58:37 20575 25

原创 Scala书籍推荐

现有的Scala书箱包括：Programming In Scala。Scala创建者Martin Ordersky等的大作，是最权威的Scala入门书箱，不过书中讲解的Scala版本有点老，这本书整体给我的感觉还可以，只是有些例子举得感觉不适合初学者。这部大作有中文版，但翻译得真实太烂，ZTMD烂。Scala In Action. 一般来讲，In Action系列的书都还可以，这本书整体也还不错

2015-08-19 12:33:07 25408 7

原创 Scala入门到精通——第一节 Scala语言初步

本节主要内容Scala简介为什么要学习ScalaScala语言初步1. Scala简介Scala(Scala Language的简称)语言是一种能够运行于JVM和.Net平台之上的通用编程语言，既可用于大规模应用程序开发，也可用于脚本编程，它由由Martin Odersk于2001开发，2004年开始程序运行在JVM与.Net平台之上，由于其简洁、优雅、类型安全的编程模式而受到

2015-08-18 09:35:19 53511 2

原创 Scala入门到精通——第三十节 Scala脚本编程与结束语

本节主要内容REPL命令行高级使用使用Scala进行Linux脚本编程结束语1. REPL命令行高级使用在使用REPL命令行时，有时候我们需要粘贴的代码比较大，而普通的粘贴可能会些一些问题，比如中文粘贴会出现乱码、多行代码粘贴时会出错，此时需要用到REPL的高级功能。在日常开发过程中，我们粘贴多行代码的时候会遇到下列问题：//本意是要粘贴下面两行代码class Person(val nam

2015-08-17 16:40:43 16011 3

原创 Scala入门到精通——第二十九节 Scala数据库编程

本节主要内容Scala Maven工程的创建Scala JDBC方式访问MySQLSlick简介Slick数据库编程实战SQL与Slick相互转换本课程在多数内容是在官方教程上修改而来的，官方给的例子是H2数据库上的，经过本人改造，用在MySQL数据库上，官方教程地址：http://slick.typesafe.com/doc/2.1.0/sql-to-slick.html1. Scal

2015-08-17 14:36:06 16731 4

原创 Scala入门到精通——第二十八节 Scala与JAVA互操作

本节主要内容 1. JAVA中调用Scala类 2. Scala中调用JAVA类 3. Scala类型参数与JAVA泛型操作 4. Scala与Java间的异常处理

2015-08-16 19:54:24 28259

原创 Scala入门到精通——第二十七节 Scala操纵XML

本节主要内容XML 字面量XML内容提取XML对象序列化及反序列化XML文件读取与保存XML模式匹配1. XML 字面量XML是一种非常重要的半结构化数据表示方式，目前大量的应用依赖于XML，这些应用或利用XML作为数据交换格式，或利用XML进行文件配置等。像JAVA、C++及其它流行的程序开发语言都是依赖于第三方库来实现XML的操作，例如JAVA经常通过JDOM，DOM4J等XML处理

2015-08-15 21:10:10 14160

原创 Scala入门到精通——第二十六节 Scala并发编程基础

本节主要内容Scala并发编程简介Scala Actor并发编程模型react模型Actor的几种状态Actor深入使用解析1. Scala并发编程简介2003 年，Herb Sutter 在他的文章 “The Free Lunch Is Over” 中揭露了行业中最不可告人的一个小秘密，他明确论证了处理器在速度上的发展已经走到了尽头，并且将由全新的单芯片上的并行 “内核”（虚拟 CPU

2015-08-15 14:12:15 18105 3

原创 Scala入门到精通——第二十五节提取器（Extractor）

作者：摇摆少年梦视频地址：http://www.xuetuwuyou.com/course/12本节主要内容apply与unapply方法零变量或变量的模式匹配提取器与序列模式scala中的占位符使用总结1. apply与unapply方法apply方法我们已经非常熟悉了，它帮助我们无需new操作就可以创建对象，而unapply方法则用于析构出对象，在模式匹配中特别提到，如果一个类要能

2015-08-15 06:38:33 14196 2

原创 Scala入门到精通——第二十四节高级类型（三）

作者：摆摆少年梦视频地址：http://blog.csdn.net/wsscy2004/article/details/38440247本节主要内容Type SpecializationManifest、TypeTag、ClassTagScala类型系统总结在scala中，类(class)与类型(type)是两个不一样的概念。我们知道类是对同一类型数据的抽象，而类型则更具体。比如定义cl

2015-08-13 12:19:23 14840 1

原创 Scala入门到精通——第二十三节高级类型（二）

本节主要内容中置类型(Infix Type)存在类型函数类型抽象类型关于语法糖的问题，在讲解程序语言时，我们常常听到“语法糖”这个术语，在百度百科中，它具有如下定义：语法糖（Syntactic Sugar），也叫糖衣语法，是英国计算机科学家彼得·约翰·兰达(Peter J. Landin)发明的一个术语。指的是，在计算机语言中添加某种语法，这种语法能使程序员更方便的使用语

2015-08-11 19:50:13 12382 4

原创 Scala入门到精通——第二十二节高级类型（一）

本节主要内容this.type使用类型投影结构类型复合类型1. this.type使用class Person{ private var name:String=null private var age:Int=0 def setName(name:String)={ this.name=name //返回对象本身 this } def setAg

2015-08-10 20:16:07 14386 1

原创 Scala入门到精通——第二十一节类型参数（三）-协变与逆变

本节主要内容协变逆变类型通匹符1. 协变协变定义形式如：trait List[+T] {} 。当类型S是类型A的子类型时，则List[S]也可以认为是List[A}的子类型，即List[S]可以泛化为List[A]。也就是被参数化类型的泛化方向与参数类型的方向是一致的，所以称为协变（covariance）。为方便大家理解，我们先分析java语言中为什么不存在协变及下一

2015-08-09 16:14:55 15752 8

原创 Scala入门到精通——第二十节类型参数（二）

本节主要内容上下文界定（Context Bound）多重界定类型约束型变1. 上下文界定在第十七节中的类型参数（一）中，我们提到视图界定可以跨越类继承层次结构，其后面的原理是隐式转换。本节要介绍的上下文界定采用隐式值来实现，上下文界定的类型参数形式为T：M的形式，其中M是一个泛型，这种形式要求存在一个M[T]类型的隐式值：case class Person(val name:String)

2015-08-08 17:02:01 18249 6

原创 Scala入门到精通——第十九节隐式转换与隐式参数（二）

作者：摇摆少年梦配套视频地址：http://www.xuetuwuyou.com/course/12本节主要内容隐式参数中的隐式转换函数中隐式参数使用概要隐式转换问题梳理1. 隐式参数中的隐式转换前一讲中，我们提到函数中如果存在隐式参数，在使用该函数的时候如果不给定对应的参数，则编译器会自动帮我们搜索相应的隐式值，并将该隐式值作为函数的参数，这里面其实没有涉及到隐式转换，本节将演示如何利

2015-08-07 11:04:47 14402 5