2015年07月_XiaoGuang-Xu

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创学习笔记9：Scala外部类和内部类

// 第九讲：外部类和内部类/** * 在java中：内部类从属于类的 * 在Scala中：内部类从属于外部类的实例本身 */class Outer(val name: String) { outer => // 外部类的实例 class Inner(val name: String){ def foo(b:Inner) = print

2015-07-21 13:31:00 563

原创学习笔记10：Scala单例对象、伴生对象

// 伴生类class University{ // 调用伴生对象的方法 val id = University.newStudenNo private var number =0 def aClass(number:Int){this.number += number}}// 伴生对象：里面的方法和变量都是静态的object University{ pri

2015-07-21 10:14:32 500

转载 apache spark单机安装教程

apache spark单机安装教程http://www.jdon.com/bigdata/sparkinstall.html

2015-07-18 17:29:36 626

转载 MapReduce的一点理解

MapReduce的一点理解http://www.cnblogs.com/ywl925/p/3981360.htmlMapReduce的一点理解对于MapReduce编程，大概率的流程用过的人或多或少都清楚，但是归结到细节上，就有的地方不清楚了，下面根据自己的疑问，加上从网上各处，找到的被人的描述，最自己的疑问做出回答。1.　MapReduc

2015-07-10 16:49:47 1090

转载 ZooKeeper 数据模型

ZooKeeper 数据模型 http://coolxing.iteye.com/blog/1871328ZooKeeper的数据结构, 与普通的文件系统极为类似. 见下图:图片引用自developerworks图中的每个节点称为一个znode. 每个znode由3部分组成:stat. 此为状态信息, 描述该znode的版本, 权限等信息.da

2015-07-09 16:31:53 555

原创学习笔记01--在MR中优化用户的代码

在MR中优化用户的代码1：尽量减少正则表达式的使用2：String标记：测试标明：StringUtils.split 性能优于 StringTokenizer 优于 String.split 优于 Scanner类3： Map函数中的对象重用：对象的实例化，尽量不要放在Map函数内，放在函数体之外 Text outputValue = new Text();

2015-07-08 10:04:28 554

转载 linux后台运行和关闭、查看后台任务

linux后台运行和关闭、查看后台任务fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令一、&加在一个命令的最后，可以把这个命令放到后台执行，如watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本二、ctrl + z可以将一个正在前台执行的命令放到后台，并且处于暂停状态。

2015-07-06 14:55:17 1809

转载 Scala数组操作

scala中的数组比java的数组强大很多 1、定长数组：长度不变的数组Array，如：声明一个长度为10的整形数组，val arr = Array[Int](10)；声明并初始化一个字符串数组： val arrStr = Array(“wo”,”cha”,”yo”)。访问数组方式:访问arrStr第一个元素，arrStr(1)即可 2、变长数组（即数组缓冲）：java中

2015-07-03 16:29:56 966