19/07/20 19:20:56 WARN hdfs.DataStreamer: Caught exception
java.lang.InterruptedException
at java.lang.Object.wait(Native Method)
at java.lang.Thread.join(Thread.java:1245)
at java.lang.Thread.join(Thread.java:1319)
at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:871)
at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:519)
at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:696)
原因是:最初,DataStreamer :: closeResponder始终打印有关InterruptedException的警告; 以来HDFS-9812,DFSOutputStream :: closeImpl总是强制线程关闭,这会导致InterruptedException。
一个简单的解决方法是使用调试级别日志而不是警告级别。其实,也不用在意这个错误,因为这个并不影响程序的结果。