aperson111的专栏

在上一篇介绍了hive的编译过程。下面介绍在hadoop的编译环境中，下载hbase并编译。hbase的编译过程和hadoop和hive都不同，在hbase0.20.6及之前的版本，采用ant进行编译；在hbase0.89及之后的版本，则采用maven进行编译。(1)获取源码在http://svn.apache.org/repos/asf/这个目录中有apach

最近想开始学习hadoop，所以决定从编译开始，一点一点的学习。我是在本机用eclipse签出svn，准备在本机上查看源码进行学习，和编译环境无关。所以首先需要从svn上签出 hadoop1.0.3源码（1）签出源码        svn地址：http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/（

熟悉脚本的启动过程，也就熟悉了hadoop的执行过程。所以研究并学习hadoop的脚本启动过程是非常有意义的。对shell命令不是太熟悉，学的比较辛苦，里面还有些地方不明白，或者有错误的地方，希望如果有错误，能有人帮我指出来，谢谢。（1）start-dfs.sh脚本1）说明start-dfs.sh可以单独运行，也可以启动start-all.sh时启动dfs进程。start-df

在上一篇介绍了hadoop的编译过程。下面介绍在hadoop的编译环境中，下载hive并编译。（可参考https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfiguration）(1)获取源码hive的编译非常简单，在http://svn.apac

这个类是个比较普通的类，但是管理了hadoop的版本信息，包括用户、编译时间、版本信息等内容。在这个类中，封装了HadoopVersionAnnotation这个注释类。由于个人觉得这个设置挺巧妙，值得学习，所以特别拿出来说明进行分享。下面就VersionInfo的几个调用场景进行说明（1）打印系统版本信息。运行hadoop VERSION时，对应的执行类即为VersionInfo在mai

namenode format操作是使用hadoop分布式文件系统前的步骤。如果不执行这个步骤，无法正确启动分布式文件系统。所以个人认为有必要对这个过程进行分析。（1）启动formathadoop namenode -format在之前关于start-dfs.sh的脚本分析过程，已经介绍到hadoop的脚本，namenode对应的执行类是org.apache.hadoop.hdfs.s

最近在忙于写论文等工作，有一段时间没有看hadoop源码了，觉得不能中断，所以就自己思考着实现hdfs文件系统的本地可视化界面。从昨天上午构思，到今天中午，完成了基本的功能。（1）设计思路：在hadoop节点上，运行程序后，可显示可视化界面，和普通的资源管理器类似，实现简单的文件树查看、创建文件、删除文件等操作。目前界面设计如下：主要界面包括工具栏、文件树、查看区、状态栏四

今天重新整理了hadoop文件查看器的思路，除了上次写到的3种方式外，还有一种，就是调用api的方式，通过API，实现了所有功能，但是只能在namenode上运行，并且需要通过hadoop脚本来运行jar包。采用这种方式的好处在于，更便捷、更易理解，而且也不需要自己解析hadoop命令的运行结果来实现文件系统的数据。今天用aip实现了文件追加和新文件。以下为追加的一小段代码： Pa