hdfs yarn kill 任务

hdfs kill 任务

先说结论

hdfs 上的hadoop 任务 直接在终端ctrl+C是不行的 任务一旦提交到集群上 就会继续 运行
所以应该使用

yarn application -kill application_1571706429831_129599 

这个命令来kill job

起因

使用hadoop distcp 提交了一个拷贝任务 中途用ctrl+c取消了 然后去删除拷贝了一半的结果 结果发现在hdfs上删除了之后 目录仍然存在 后来在任务管理页面上看到仍然有多个distcp任务在运行 说明 是这些distcp任务 在删除目录之后仍然在运行并写入删除后的目录 导致这个目录被重新创建 所以表现为一直删不掉目录。这个可以从目录中最末端的文件hash中看出 有一些新出现的文件说明是 删除后写入的

感觉运维大哥给我找bug