★★Hadoop其他
工作中可能涉及到的hdfs、hbase相关知识
维格堂406小队
人天生都是软弱的,唯其软弱而犹能承担起苦难,才显出人的尊严。
展开
-
【HDFS】-指定路径下各目录大小排序
code查看hive各个库的大小,并且排序hadoop fs -du -s -h hdfs:///user/hive/warehouse/* |sed 's/ //'| sort -rnref[1]https://stackoverflow.com/questions/38086684/hadoop-fs-du-h-sorting-by-size-for-m-g-t-p-e-z-y/57365167 2021-03-01 于南京市江宁区九龙湖.原创 2021-03-01 16:35:51 · 2910 阅读 · 0 评论 -
【HDFS】-Window下保存文件报错
报错信息java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V原因参考 :https://www.cnblogs.com/itboys/p/9176116.htmlhttps:/...原创 2019-12-07 09:42:12 · 162 阅读 · 0 评论 -
【HDFS】- 相关命令
pyspark把模型文件保存着爱hdfs上,管理这些模型文件需要执行一些命令。%shell# 查看hdfs根本目录 hadoop fs -ls /models# 在models下新建目录 test#hadoop fs -mkdir /models/test# 删除文件夹#hadoop fs -rm -r /models/blorModel2# 改变对应文件夹的权限#hado...原创 2018-10-31 15:20:42 · 236 阅读 · 0 评论