Hdfs
无影风Victorz
纸上得来终觉浅,绝知此事要躬行 https://github.com/vicotorz
展开
-
定期删除Hdfs文件脚本
#!/bin/bashusage="$0 Usage: xx [days]"if [ ! "$1" ]then echo $usage exit 1finow=$(date +%s)./hadoop fs -ls -r xxxx路径 | while read f; do #取文件串中的日期信息 dir_date=`echo $f | awk '{print $6}'` difference=$(( ( $now - $(date -d "$dir_date" +%s) ...原创 2021-10-25 10:53:01 · 244 阅读 · 0 评论 -
【错误处理】hadoop hdfs 读写错误解决:java.io.IOException: Filesystem closed
报错信息:java.io.IOException: Filesystem closed参考:https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxgwz7参考:https://blog.csdn.net/qiumengkai/article/details/48682143?utm_source=blo...原创 2019-05-22 22:11:26 · 3980 阅读 · 0 评论 -
【错误处理】HDFS出现的问题:File /hdfsapi/test/a.txt could only be replicated to 0 nodes instead of
最近在阿里云上进行伪分布式Hadoop开发,在本地windows的java程序对HDFS进行访问时,出现了如下问题: File /hdfsapi/test/a.txt could only be replicated to 0 nodes instead of minReplication (=1)经过多方查询,了解到问题的原因:客户端操作hdfs时候...原创 2018-05-22 21:47:28 · 1998 阅读 · 5 评论 -
Hadoop Delegation Tokens详解
转载自:《Hadoop Delegation Tokens详解》 https://www.jianshu.com/p/617fa722e057本文是cloudera公司的一篇技术博客,原文地址:Hadoop Delegation Tokens Explained译文Hadoop Security在2009年被设计并实现,此后趋于稳定。但是,由于相关文档不足,当出现问题时很难理解并进行d...转载 2019-07-30 23:24:49 · 2238 阅读 · 0 评论