hbase的meta region挂掉之后的问题跟踪

近日对hbase进行稳定性测试，因为主机资源有限，所以使用多个虚拟机搭了一个分布式hbase集群，无意中停了一个虚拟机，然后启动hbase发现整个集群无法启动，hmaster报了一个网络异常之后，就直接退出了。
于是开始跟踪hmaster启动部分的源码。
hmaster的大郅步骤：
1.连接zk，创建master node的watcher
2.检查root region是否存在
3.启动对zk root node和meta node的track
4 分配root 到对应的regionServer
5 分配meta 到对应的regionServer
现在就卡在了分配meta 到对应的regionServer这一步。
查看源码
private HRegionInterface getMetaServerConnection(boolean refresh)
throws IOException, InterruptedException {
synchronized (metaAvailable) {
if (metaAvailable.get()) {
HRegionInterface current = getCachedConnection(metaLocation);
if (!refresh) {
return current;
}
if (verifyRegionLocation(current, this.metaLocation, META_REGION)) {
return current;
}
resetMetaLocation();
}
HRegionInterface rootConnection = getRootServerConnection();
if (rootConnection == null) {
return null;
}
HServerAddress newLocation = MetaReader.readMetaLocation(rootConnection);
if (newLocation == null) {
return null;
}

HRegionInterface newConnection = getCachedConnection(newLocation);//此处抛出IOException
if (verifyRegionLocation(newConnection, this.metaLocation, META_REGION)) {
setMetaLocation(newLocation);
return newConnection;
}
return null;
}
}

现在进行故障回放：
在hbase集群停止运行状态下，META对应的regionserver虚拟机被挂了，于是hmaster启动时，根据root表找到对应meta所以在regionserver地址，然后建立到对应regionserver的连接，但此时这台regionserver已经down了，连接失败，抛出网络层的IOException，于是hmaster无法启动。
虽然这种故障出现的概率不高，因为只有在hbase集群停止的情况下，刚好对应的metaserver挂了，所以才会造成meta表无法指定regionserver。但考虑海量数据情况下，meta表也会分裂，从而可能存在多台regionserver上，出现这种故障的概率就高了。
所以考虑对代码进行，catch IOException进行另外指定

HRegionInterface newConnection = null;
try {
newConnection = getCachedConnection(newLocation);
} catch (IOException e) {
// 从当前已经启动成功的regionserver中，找一台机器来接管meta表

}