Hadoop 0.21.0的新功能

Hadoop 0.21.0 的新功能

Hadoop 发布了最新版本，这版与之前的版本，在功能上有较大的改进，增加了一些新的功能。主要如下：

http://www.cloudera.com/blog/2010/08/what%E2%80%99s-new-in-apache-hadoop-0-21/

Common:

classification annotations

Large-Scale Automated Test Framework

fault injection framework

Mockito-based tests

retrieve metrics and configuration

Hdfs ：

增加 append 操作

文件系统新的 api

同时支持文件符号链接

Secondary NN 去掉了，换成了 BN(backup namenode),CN(checkpoint namenode) 。

一些附助的文件工具 :offline image viewer ， block forensics tool

另外支持 file concatenation 操作， Distributed RAID filesystem 。

 

Mapreduce

New api

LocalJobRunner ： 支持 distributed cache 和 run mappers in parallel 。

Distcp 提升

加入测试框架 MRUnit 。

Rumen ， Mumak ， job history log analyzer 。

job scheduling

Smarter speculative execution 智能推测执行器

Streaming combiners

Job 完成后会创建该 job 的运行日志。

未加入的功能：

安全性

Sqoop- 将数据从关系型数据库导入到 hdfs 的工具