Hadoop2.8.0新特性

    Hadoop2.8.0将会是3.0版本前最后一个重要版本（2.9基本只会搞一些小修补了），即将发布，这个版本虽然没什么革命性的新功能，但是努力提升维护、调试等工作的效率，值得关注。

 

Common

 

HADOOP-10971 Add -C flag to make `hadoop fs-ls` print filenames only 在hadoop fs -ls 命令中增加-C标志，以只打印文件名

 

HADOOP-11731 Rework the changelog andreleasenotes

 

HADOOP-9477 Add posixGroups support forLDAP groups mapping service

 

HADOOP-11843 Make setting up the buildenvironment easier 使建立bulid环境更容易

一个开发者要求的改进。

 

HADOOP-12548 Read s3a creds from aCredential Provider

一个兼容S3文件系统的改造。

 

HADOOP-12651 Replace dev-support withwrappers to Yetus

    对Apache Yetus（一个系统管理工具）的支持。

 

HADOOP-12909 Change ipc.Client to supportasynchronous calls 改进ipc.Client以支持异步调用

改进ipc.Client支持异步调用模式，在这种模式下请求发送后即返回，无需等待服务器响应。

 

HADOOP-13008 Add XFS Filter for UIs toHadoop Common

为Hadoop的几个UI提供Cross FrameScripting (XFS)过滤支持。

 

HADOOP-12635 Adding Append API support for WASB

为Azure Blob Storagefile system (WASB)提供append API。

 

HADOOP-12691 Add CSRF Filter for REST APIsto Hadoop Common

    提升了Common模块中的rest API对跨站点请求伪造的安全性。

 

HADOOP-12723 S3A: Add ability to plug inany AWSCredentialsProvider

    又一个兼容S3文件系统的改造。

 

HADOOP-13065 Add a new interface forretrieving FS and FC Statistics 为获取FS和FC统计增加一个新的接口

    为各种DfsClient操作提供一个新的统计，包括create,append, createSymlink, delete, exists, mkdirs, rename，并通过Statistics对象的新属性来暴露他们。

 

HADOOP-12426 Add Entry point for Kerberoshealth check

    提供了Kerberos的一系列检查，包括JRE，网络，kinit，指定的tgt，hadoop安全参数等。

 

HADOOP-12657 Add a option to skip newlineon empty files with getMerge -nl

    为hadoop fs -getmerge命令增加一个-skip-empty-file参数。

 

HADOOP-8934 Shell command ls should includesort options

fs -ls 命令增加以下参数以便排序：

-t : sort bymodification time

-S : sort byfile size

-r : reverse thesort order

-u : use accesstime rather than modification time for sort and display

 

HADOOP-12021 Augmenting Configuration toaccomodate <description>

 

HADOOP-12360 Create StatsD metrics2 sink

 

HADOOP-5732 Add SFTP FileSystem

            用JSch实现的基于hadoop的SFTP，因为我们目前在用hadoop上的FTP，预计总会有切到SFTP的需求的，值得关注。

 

 

HDFS

 

HDFS-9244 Supportnested encryption zones 支持嵌套的加密区

Hadoop从2.7版本开始支持一种文件系统级加密措施称为encryption zone（简称EZ），用法是指定一个目录为EZ后该目录下所有文件的存取都会相应加解密，但对该目录下的子目录加密不会生效，除非再次配置。这就造成一些问题，比如一个目录是加密的，将其删除后默认会进Trash，不管Trash本身是否加密，该文件夹移进Trash后就不加密了，这显然存在安全隐患。这个特性就是为了解决此类问题而使EZ可以嵌套。

 

HDFS-9711 IntegrateCSRF prevention filter in WebHDFS. 在WebHDFS中整合CSRF阻止

提升了WebHDFS对跨站点请求伪造的安全性，因为我不用WebHDFS所以不太关注。

 

HDFS-8487 GeneralizeBlockInfo in preparation of merging HDFS-7285 into trunk and branch-2 抽象出BlockInfo类

    这个改动本身没什么大用，但是是为HDFS-7285Erasure Coding Support inside HDFS做准备的，Erasure Code是Hadoop3.0中的重要特性，可实现类似Facebook的HDFS-RAID这样的功能。

 

HDFS-8155Support OAuth2 in WebHDFS 在WebHDFS中支持OAuth2

    又一个WebHDFS的安全特性，对我没什么卵用就是了。

 

HDFS-8009Signal congestion on the DataNode DataNode的拥塞信号

    相信很多人都遇到过当个别DataNode非常繁忙的时候会无法上报心跳，导致各种误告警和HDFS不正常的行为。2.7已经实现对IO过高的DataNode发出拥塞信号，这个Jira可对CPU负载超过该节点总核数150%的情况发出拥塞信号。

 

HDFS-8622Implement GETCONTENTSUMMARY operation for WebImageViewer  为WebImageViewer实现GETCONTENTSUMMARY操作

    用过hdfs oiv命令查看fsimage的都知道，可以用WebHDFS和xml两种方式来审查fsimage的内容，这个改进就是为WebHDFS查看fsimage的需要做的。

 

HDFS-8608Merge HDFS-7912 to trunk and branch-2 (track BlockInfo instead of Block in UnderReplicatedBlocksand PendingReplicationBlocks)

   又一个为HDFS-7285 ErasureCoding Support inside HDFS做准备的需求。

 

HDFS-9835 OIV:add ReverseXML processor which reconstructs an fsimage from an XML file   OIV：增加ReverseXML处理使其可从XML文件重建fsimage

    上面提到hdfs oiv的另一种用法是xml方式，这个需求可从xml文件反生成fsimage，主要是便于编辑后生成一个新的fsimage用于测试目的。

 

HDFS-9239DataNode Lifeline Protocol: an alternative protocol for reporting DataNodeliveness  DataNode生命线协议：一种备选的上报DataNode状态的协议

该版本的重要改进之一，引入了一种新的DataNode状态上报协议，试图解决旧的基于心跳的协议在高负荷下的各种问题。其与旧协议的区别主要有三点，1）处理lifeline消息开销较低，2）其不会和block报告和用户操作争用名字空间的锁，3）其使用了一批独立的RPC处理线程，使其与繁重的用户操作线程隔离。通过使用这种协议，理论上可消除集群繁忙时心跳处理的延迟和状态的误报。个人觉得效果值得期待。

 

HDFS-9945Datanode command for evicting writers 为Datanode提供回收写者的命令

该特性为dfsadmin命令提供了一个新的子命令evictWriters，可立即终止该DN上的所有写块操作。一般用于DN退服时需要很慢的writer使退服操作卡住的情况。

 

HDFS-9184Logging HDFS operation's caller context into audit logs 将HDFS操作的调用上下文记入审计日志

又是一个审计方面改进，不关注。

 

HDFS-7891 Ablock placement policy with best rack failure tolerance 一种block放置策略使可达到最好的rack失败容忍度

目前的block放置策略在3副本下是LN(localnode)+RR_1(remote rack)+RR_2，这种策略只能容忍1个rack失效，如果LN所在的rack和remote rack都挂掉块就无法访问。这一新特性可将块放到尽可能多的rack上使得失败容忍度提高。当然，异机架通信的成本肯定比同机架大，因此这种策略肯定只是作为可选参数提供，不会替换默认值的。

 

 

MapReduce

 

MAPREDUCE-6304Specifying node labels when submitting MR jobs 当提交MR任务时指定节点标记

    YARN-796中提出了一种基于label的调度方法，以便1)提供一种机制，在一个特定的节点集上运行应用容器，2)提供一种机制，使调度器的Queue可在一个特定的节点集上调度资源，3)提供一种机制，解决应用和Queue对节点集定义的冲突。这个JIRA任务是为实现YARN-796而配套的。

 

MAPREDUCE-6415Create a tool to combine aggregated logs into HAR files 创建一个工具，以将聚集的log打成HAR包

    这是配合YARN-2942而实现的。

 

MAPREDUCE-6284Add Task Attempt State API to MapReduce Application Master REST API 增加Task重试状态API到MapReduceApplication Master REST API中

    一个方便排错的改动。

 

MAPREDUCE-6364Add a "Kill" link to Task Attempts page 在Task重试页面增加一个Kill链接

    和上一个JIRA相关。

 

 

YARN

 

YARN-4349Support CallerContext in YARN

    与HDFS-9184联系密切，主要还是完善审计，便于排查问题。

 

YARN-41 The RMshould handle the graceful shutdown of the NM. ResourceManager应该处理NodeManager的优雅关闭

    该特性使得NodeManager优雅关闭（使用yarn-daemon.shstop nodemanager而非kill -9）时，需要将NodeStatus置为SHUTDOWN（新引入状态）并通知ResourceManager。如果按以前的方式，NodeManager的连接直到超时后（默认值长达10分钟）才会被ResourceManager感知，然后新起的NodeManager才能加入。当然说起来容易实际改造却不容易做，有committer整理了以下表格，实际上只有前两种情况需要取消注册，后几种情况都不应处理。

NM Graceful Shutdown	NM Recovery Enabled yarn.nodemanager.recovery.enabled=true	NM is Running Under Supervision yarn.nodemanager.recovery.supervised=true	NM Unregister
Y	N	Y	Y
Y	N	N	Y
Y	Y	Y	N
Y	Y	N	N
N	Y/N	Y/N	N

 

YARN-2901 Adderrors and warning metrics page to RM, NM web UI 在RM和NM的web页面上增加错误和警告统计页

    又是一个面向故障排查的特性，这个版本对可运维性很重视。

 

YARN-3623 Weshould have a config to indicate the Timeline Service version 需要一个配置项以指定TimelineService的版本

    Hadoop内的ApplicationTimeline Service（ATS）是用来统计性能指标的，目前有1和1.5两个版本，将来还有2，需要通过一个配置项来指定使用哪个版本。

 

YARN-261Ability to fail AM attempts 提供使AM尝试失败的能力

    如果任务的其中一个AM卡死（在我们生产环境常常出现），现有的手段是杀掉整个任务，或者干脆等这个AM慢慢跑过去。这个特性增加了杀死单个AM尝试的能力，杀掉后RM会重启这个AM的计算任务，避免了在某些大任务的一个AM卡住时重跑整个任务。

 

YARN-3458 CPUresource monitoring in Windows  提供Windows环境下的CPU资源监控

    非常怀疑有谁在Windows下跑hadoop。