hadoop

一、相关操作

1、 查询分区数据

hadoop fs -du -h hdfs:路径名称

2、 常规操作

创建文件夹

hadoop fs -mkdir hdfs://(路径)

3、从本地目录到远程目录

hadoop fs -copyFromLocal 本地目录 远程目录

4、查看路径下有哪些文件

hadoop fs -ls <路径>

5、添加权限

 hadoop fs -chmod 777 文件路径

二、hadoop-python

文件上传

import subprocess
project = '沉默激活'
path = f"hdfs://路径名称"
p = "hadoop fs -mkdir " + path
#file_name就是上传文件的名字,-f表示如果文件存在，则强制覆盖
p = "hadoop fs -put -f "+ file_name + " " + path
print(subprocess.call(p,shell=True))

文件下载
hadoop fs -get hdfs://文件地址

参考资料

https://blog.csdn.net/m0_67393039/article/details/124460305