VM虚拟机hadoop集群共享一块磁盘执行复杂任务导致zookeeper挂掉

1.背景

最近在执行一条比较复杂的sql时，发现总是执行失败，实际上表数据并没有多少，只是关联的表比较多而已。

2.查找问题

看了yarn的运行日志发现都报的通信延迟的问题，

打开cdh看了下发现zookeeper和hdfs的failercontroller都报红了。

接着找了一台zookeeper节点看了下报错日志，发现了一直报如下错误：

org.apache.zookeeper.server.persistence.FileTxnLog: fsync-ing the write ahead log in SyncThread:1 took 1614ms which will adversely effect operation latency

大概意思就是延迟太高的问题。

接下来就是google，biying，baidu时间终于在VMware官方文档找到了一篇文章跟我的报错很像，

文章地址：Disk Latency Issues