hadoop学习(七)---------eclipse调试FsShell

上一节介绍了eclipse远程调试hadoop,这一节再以FsShell为例,巩固一下远程调试的知识。 FsShell是hadoop提供的一个与本地文件系统,HDFS,HTFS,S3等文件系统交互的工具,使用格式如下: bin/hadoop fs 1.首先,修改bin/hadoop文...

2015-04-26 19:25:46

阅读数 1751

评论数 0

hadoop学习(六)--------eclipse远程调试

上一节我们已经成功编译了hadoop源码,这样我们就可以根据需要在源代码里增加调试信息,跟踪hadoop的执行。这种方式需要对跟踪的对应模块代码进行修改,还要重新编译jar包,并替换share/hadoop目录下对应的jar包,然后重新启动要调试的hadoop服务才行,比较麻烦。所以我学习了一下如...

2015-04-26 17:13:38

阅读数 4196

评论数 0

hadoop学习(五)------源码编译

编译环境准备: 在ubuntukylin-14.04-desktop-i386环境中编译hadoop源码 1.安装JDK,maven 请参考http://blog.csdn.net/happyanger6/article/details/45205877 2.编译安装had...

2015-04-26 09:33:35

阅读数 798

评论数 0

spark源码学习(二)------------spark-shell启动分析

上一节学习了spark源码的编译方法,这一节我们跟踪一下spark-shell的启动. spark-shell是spark提供一个控制台,通过它我们可以方便的学习spark的API,类似于scala的REPL. spark-shell在/bin目录下,下面简单分析一下spark-shell的启动。...

2015-04-23 23:29:19

阅读数 5810

评论数 0

Spark源码学习(一)---------编译源码

学习spark源码的第一步,就是编译源码,这样方便我们以后修改和调试。 选择的spark源码版本为最新的1.3.1   http://spark.apache.org/downloads.html 第一步,安装JDK,并配置环境变量JAVA_HOME,CLASSPATH,PATH。...

2015-04-22 23:54:43

阅读数 4306

评论数 3

maven实战学习(一)----maven初探

第一次知道maven这个东西是在学习hadoop源码的时候,发现源码不同的文件夹下有许多pom.xml文件,编译的时候也要用到mvn相关命令。为了明白其中的工作原理,开始学习maven.把学习>这本书的体会分享一下,希望共同学习,共同进步。 首先,需要知道maven是干什么的。简单来说,ma...

2015-04-21 23:45:48

阅读数 1064

评论数 0

scala学习(二)----------------插入排序实现

object InsertSort {          def main(args: Array[String]): Unit = {     val lst = List(2,1,3,4,5,10,6)     val newLst = insertSort(lst, Nil)   ...

2015-04-17 00:03:18

阅读数 950

评论数 0

scala学习(一)--------------------快速排序代码分析

以下是一个scala版的快速排序实现: object qsort {   def qsort [T     case Nil => Nil     case x :: xs =>       val (before,after) = xs partition ( _...

2015-04-01 23:22:36

阅读数 1386

评论数 0

提示
确定要删除当前文章?
取消 删除