2015年04月_self-motivation

原创 hadoop学习(七)---------eclipse调试FsShell

上一节介绍了eclipse远程调试hadoop,这一节再以FsShell为例,巩固一下远程调试的知识。FsShell是hadoop提供的一个与本地文件系统，HDFS，HTFS，S3等文件系统交互的工具，使用格式如下：bin/hadoop fs 1.首先，修改bin/hadoop文件，使FsShell启动的时候支持远程调试,并等待eclipse调试器的连接*)

2015-04-26 19:25:46 2067

原创 hadoop学习(六)--------eclipse远程调试

上一节我们已经成功编译了hadoop源码，这样我们就可以根据需要在源代码里增加调试信息，跟踪hadoop的执行。这种方式需要对跟踪的对应模块代码进行修改，还要重新编译jar包，并替换share/hadoop目录下对应的jar包，然后重新启动要调试的hadoop服务才行，比较麻烦。所以我学习了一下如何用eclipse远程调试，这样就可以设置断点，十分方便。1.关于JAVA远程调试的原理和

2015-04-26 17:13:38 5421

原创 hadoop学习(五)------源码编译

编译环境准备：在ubuntukylin-14.04-desktop-i386环境中编译hadoop源码1.安装JDK,maven请参考http://blog.csdn.net/happyanger6/article/details/452058772.编译安装hadoop依赖protobuf2.5.0(必须使用这个版本,hadoop2.6.0源码要求此版本)

2015-04-26 09:33:35 941

原创 spark源码学习(二)------------spark-shell启动分析

上一节学习了spark源码的编译方法，这一节我们跟踪一下spark-shell的启动.spark-shell是spark提供一个控制台，通过它我们可以方便的学习spark的API，类似于scala的REPL.spark-shell在/bin目录下,下面简单分析一下spark-shell的启动。spark-shell--------->spark-submit----------

2015-04-23 23:29:19 6206

原创 Spark源码学习(一)---------编译源码

学习spark源码的第一步，就是编译源码，这样方便我们以后修改和调试。选择的spark源码版本为最新的1.3.1 http://spark.apache.org/downloads.html第一步，安装JDK,并配置环境变量JAVA_HOME,CLASSPATH，PATH。我使用的是JDK1.7java -versionjava version "1.7.0

2015-04-22 23:54:43 4557 3

原创 maven实战学习(一)----maven初探

第一次知道maven这个东西是在学习hadoop源码的时候,发现源码不同的文件夹下有许多pom.xml文件，编译的时候也要用到mvn相关命令。为了明白其中的工作原理，开始学习maven.把学习>这本书的体会分享一下，希望共同学习，共同进步。首先，需要知道maven是干什么的。简单来说，maven是一个构建工具，能够帮助我们完成项目的编译，清理，测试，生成报告，打包和部署。单纯从构建功能来看

2015-04-21 23:45:48 1232

原创 scala学习(二)----------------插入排序实现

object InsertSort { def main(args: Array[String]): Unit = { val lst = List(2,1,3,4,5,10,6) val newLst = insertSort(lst, Nil) println(newLst._2) } /*递归插入,依次将旧链表的首元素用插

2015-04-17 00:03:18 1204

原创 scala学习(一)--------------------快速排序代码分析

以下是一个scala版的快速排序实现：object qsort { def qsort [T case Nil => Nil case x :: xs => val (before,after) = xs partition ( _ qsort(before) ++ (x :: qsort(after)) } d

2015-04-01 23:22:36 1599

happyAnger6的专栏