Hadoop 0.21.0 的新功能
Hadoop 发布了最新版本,这版与之前的版本,在功能上有较大的改进,增加了一些新的功能。主要如下:
http://www.cloudera.com/blog/2010/08/what%E2%80%99s-new-in-apache-hadoop-0-21/
Common:
classification annotations
Large-Scale Automated Test Framework
fault injection framework
Mockito-based tests
retrieve metrics and configuration
Hdfs :
增加 append 操作
文件系统新的 api
同时支持文件符号链接
Secondary NN 去掉了,换成了 BN(backup namenode),CN(checkpoint namenode) 。
一些附助的文件工具 :offline image viewer , block forensics tool
另外支持 file concatenation 操作, Distributed RAID filesystem 。
Mapreduce
New api
LocalJobRunner
:
支持 distributed cache 和 run mappers in parallel 。
Distcp 提升
加入测试框架 MRUnit 。
Rumen , Mumak , job history log analyzer 。
job scheduling
Smarter speculative execution 智能推测执行器
Streaming combiners
Job 完成后会创建该 job 的运行日志。
未加入的功能:
安全性
Sqoop- 将数据从关系型数据库导入到 hdfs 的工具