hadoop_day03

和余岁岁年年

已于 2023-01-11 15:04:04 修改

阅读量171

点赞数

文章标签： hadoop 大数据 hdfs Powered by 金山文档

于 2023-01-11 14:44:39 首次发布

本文链接：https://blog.csdn.net/qq_50857637/article/details/128644563

版权

文章详细介绍了如何卸载并重新部署Hadoop集群，包括删除HDFS数据目录，执行HDFS的ls、mkdir、mv、rm等操作。此外，还涉及了回收站配置、文件在HDFS与Linux之间的传输、上传下载、权限管理（chmod、chown）以及查看文件内容等日常管理任务。

摘要由CSDN通过智能技术生成

如果部署的hadoop集群有问题想重新部署：

1.卸载

2.重新配置

hdfs data目录删掉 +重新格式化即可

【HDFS】:

hdfs 相关操作

【查看hdfs ls】：

1.hadoop fs -ls /

2.hdfs dfs -ls /

【创建文件夹】

hadoop fs -mkdir 
[hadoop@bigdata31 bin]$ hadoop fs -mkdir /hdfs01
[hadoop@bigdata31 bin]$ hadoop fs -ls /
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2022-11-11 23:03 /data
drwxr-xr-x   - hadoop supergroup          0 2022-11-15 17:11 /hdfs01
drwxr-xr-x   - hadoop supergroup          0 2022-11-11 23:08 /out
drwxr-xr-x   - hadoop supergroup          0 2022-11-14 18:32 /out2
drwx------   - hadoop supergroup          0 2022-11-14 18:31 /tmp

【移动、拷贝 mv cp 】

[hadoop@bigdata31 bin]$ hadoop fs -mv /data /hdfs01/

【删除 rm 】

[hadoop@bigdata31 bin]$ hadoop fs -rm -r /out
Deleted /out

-skipTrash : hdfs 回收站

<property>
        <name>fs.trash.interval</name>
        <value>10080</value>
</property>

【hdfs上的文件=>linux】

hdfs://bigdata32:9000/1.log
/1.log
[hadoop@bigdata33 ~]$ hadoop fs -ls hdfs://bigdata32:9000/1.log
[hadoop@bigdata33 ~]$ hadoop fs -ls /1.log

【local 上的文件=>linux】

file:///1.log:
[hadoop@bigdata33 ~]$ hadoop fs -ls file:home/hadoop/1.log

【上传】

[hadoop@bigdata33 ~]$ hadoop fs -put ./2.log ./3.log /
[hadoop@bigdata33 ~]$ hadoop fs -ls /
[hadoop@bigdata33 ~]$ hadoop fs -copyFromLocal ./2.log /data
[hadoop@bigdata33 ~]$ hadoop fs -ls /data

【下载】

[hadoop@bigdata33 tmp]$ hadoop fs -get /data ./
[hadoop@bigdata33 tmp]$ ll
total 4
drwxr-xr-x. 2 hadoop hadoop 4096 Nov 15 18:07 data
[hadoop@bigdata33 tmp]$ hadoop fs -get /data ./datahdfs

【chmod : 权限】

[hadoop@bigdata33 tmp]$ hadoop fs -chmod 664 /1.log
[hadoop@bigdata33 tmp]$ hadoop fs -ls /

chown ：拥有者

[hadoop@bigdata33 tmp]$ hadoop fs -chown zihang:DL2262 /1.log
[hadoop@bigdata33 tmp]$ hadoop fs -ls /

【查看文件内容】：cat

[hadoop@bigdata33 tmp]$ hadoop fs -cat /1.log
111
222
333

java api hdfs

<!--添加hadoop依赖-->
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.3.4</version>
</dependency>