pinuo的专栏

Hadoop作业提交分析（一）bin/hadoop jar xxx.jar mainclass args……这样的命令，各位玩Hadoop的估计已经调用过NN次了，每次写好一个 Project或对Project做修改后，都必须打个Jar包，然后再用上面的命令提交到Hadoop Cluster上去运行，在开发阶段那是极其繁琐的。程序员是“最懒”的，既然麻烦肯定是要想些法子减少无谓

这几天搞namenode的重构，把namenode里的许多组件的内部结构给翻了出来，每个组件都是一套复杂的小系统。未免遗忘，先吧FsEditLog给记录下来吧。FSEditLog是用来记录namenode对HDFS的namespace的修改操作进行日志记录的。在namenode中

在GMS时对hbase进行静态代码扫描的结果列表。

This document lists the standard bug patterns reported by FindBugs version 1.3.9.Summary Description Category AM: Creates a

Hbase分析报告本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写Hbase是一个分布式开源数据库，基于Hadoop分布式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。Hbaes的目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行数据，并且有数百万列元素组成的数据表。Hbase可以直接使用本地文件系统或者Hadoop作为数据存储方

2          MapReduce框架结构<br />Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中

<br /> 面向对象的几个概念，学习并且实践了不知多少次了。但发现对  聚合（Aggregation）和合成（composition）还不是那么清楚。<br /><br /><br />     通常扩展一个类的功能主要有两种方式，一种是大家很熟悉的继承（inheritance），另一种就是合成（composition），很多初学OO（面向对象）并有一些经验都很容易搞混这个的区别，其实很简单，继承是解决Is-a的问题，而合成是解决Has-a的问题。比如说小

<br />DistributedCache可在map/reduce任务中作为一种基础软件分发机制使用。它可以被用于分发jar包和本地库（native libraries）。DistributedCache.addArchiveToClassPath(Path, Configuration)和DistributedCache.addFileToClassPath(Path, Configuration) API能够被用于缓存文件和jar包，并把它们加入子jvm的classpath。也可以通过设置配置文档里的

Java　NIO非堵塞应用通常适用用在I/O读写等方面，我们知道，系统运行的性能瓶颈通常在I/O读写，包括对端口和文件的操作上，过去，在打开一个I/O通道后，read()将一直等待在端口一边读取字节内容，如果没有内容进来，read()也是傻傻的等，这会影响我们程序继续做其他事情，那么改进做法就是开设线程，让线程去等待，但是这样做也是相当耗费资源的。Java NIO非堵塞技术实际是采取Reactor模式，或者说是Observer模式为我们监察I/O端口，如果有内容进来，会自动通知我们，这样，我们就不必

当时学习hadoop的资料，和读书标记。

记录PMD， FindBugs等静态代码扫描工具中有用的Tips。

Lucene是一个基于Java的全文索引工具包。 基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史全文检索的实现：Luene全文索引和数据库索引的比较中文切分词机制简介：基于词库和自动切分词算法的比较具体的安装和使用简介：系统结构介绍和演示Hacking

Some Research of HBase  1.    The Architecture of HBase There are three major components of the HBase architecture:1.         The

prepared by Greg Wilkins - May, 20081. IntroductionJetty and Tomcat are often cast as direct competitors. This paper is short comparis

Introduction to CGLIB LibraryA proxy provides a surrogate or place holder for the target object to control access to it. It introduces a l

此前对于AOP的使用仅限于声明式事务，除此之外在实际开发中也没有遇到过与之相关的问题。最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP 来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。本文是权当本人的自己AOP学

因为原来的项目组用到了，在studygroup中细致学习过Hadoop和Hbase，也多了部分源码，感觉很好。找到当时度过的入门资料。也算是记录和提醒下不要因为所谓的时间忙，忘了自己感兴趣的东西。