经验
随机???
SDE
展开
-
hdfs yarn kill 任务
hdfs kill 任务 先说结论 hdfs 上的hadoop 任务 直接在终端ctrl+C是不行的 任务一旦提交到集群上 就会继续 运行 所以应该使用 yarn application -kill application_1571706429831_129599 这个命令来kill job 起因 使用hadoop distcp 提交了一个拷贝任务 中途用ctrl+c取消了 然后去删除拷贝了一...原创 2019-12-26 11:44:32 · 489 阅读 · 0 评论 -
crontab 踩坑记录
crontab是linux 下的定时工具 但是有很多坑 1. 第一个坑 crontab 命令中 % 如果原始命令中带有 % 那么很可能会执行失败 因为crontab中的%号有特殊含义 需要使用 转义字符去转义 例如 下面这个命令 手动执行时候好好的 在crontab中就会失败 就是因为% 已经两次掉进坑里面了 其实可以发现加了反斜杠的%好不加反斜杠的%在crontab 用vim编辑时候的颜色已...原创 2019-12-19 14:29:53 · 610 阅读 · 0 评论 -
pytorch小问题
pytorch张量的保存和恢复 tensor本身就是对象 如果想要保存和恢复对应的对象 使用 torch.save 和 torch.load即可 就像picke的load 和dump一样 t2 = torch.randn([1024, 1024]) torch.save(t2, "t1.pth") t2l = torch.load(t2, "t1.pth") 当然save和load 还涉及到具...原创 2019-12-19 13:13:20 · 226 阅读 · 0 评论