Hadoop hdfs常用命令

1、查看文件大小用命令：

hdfs dfs -du -s -h 查看目录下总大小
hdfs dfs -du -x -h 查看目录下各子目录大小

hdfs dfs -du -s -h /user/hive/warehouse/wxwy.db/nr_mro_lzo/partitionday=20210909

2、查看目录下是否有文件：hdfs dfs -ls

hdfs dfs -ls /user/hive/warehouse/wxwy.db/gongcan_qingming

3、删除目录下文件：hdfs dfs -rm -r -skipTrash

 hdfs dfs -rm -r -skipTrash /user/hive/warehouse/wxwy.db/gongcan_qingming/part-m-00000

4、上传文件到目录下 hdfs dfs -put

hdfs dfs -put gongcan_20220906.csv /user/hive/warehouse/wxwy.db/gongcan_qingming

然后访问该数据

5、hdfs dfs -put 处理中文乱码问题

原因：文件的编码和表不一致

处理办法：
将文件的编码格式转成UTF-8，
再将表的编码格式转成UTF-8

ALTER TABLE gongcan_qingming SET SERDEPROPERTIES ('serialization.encoding'='UTF-8');