【Hadoop-驯化】一文学会hadoop访问hdfs中常用命令使用技巧

【Hadoop-驯化】一文学会hadoop访问hdfs中常用命令使用技巧
 
本次修炼方法请往下查看

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 免费获取相关内容文档关注：微信公众号，发送 pandas 即可获取
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

下滑查看解决方法

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

  

🎯 1.基本介绍

  Hadoop分布式文件系统（HDFS）是一个分布式文件系统，允许跨多个机器存储和处理大量数据。HDFS的命令行工具hdfs提供了多种命令，用于文件和目录的管理、访问权限的设置以及数据的复制和恢复等。

💡 2. 代码用法

  hadoop中常用的一些命令具体如下所示：

2.1 查看文件系统状态

  具体的写法去终端执行如下：

hadoop fs  dfsadmin -report


Configured Capacity: 100 GB
...

2.2 列出目录内容

hdfs dfs -ls /

Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2023-03-01 00:00 /user
drwxr-xr-x   - hadoop supergroup          0 2023-03-01 00:00 /tmp

2.3 创建目录

hdfs dfs -mkdir /user/hadoopdir

...

2.4 上传文件到HDFS

hdfs dfs -put localfile.txt /user/hadoopdir/

...

2.5 下载HDFS文件到本地

hdfs dfs -get /user/hadoopdir/localfile.txt .

2.6 删除文件或目录

hdfs dfs -rm /user/hadoopdir/localfile.txt

💡 3. hadoop中难记的命令

   hadoop distcp: 大规模的拷贝文件，可以跨集群进行copy, 其中su为源文件的路径，du为目的地的路径，对于里面的url路径和用户的路径，如果不知道的话可以去hadoop客户端的路径下的hadoop-site.xml里面进行查找，这里面可以找到用户信息和配置url信息

    hadoop-yq distcp -D mapred.job.priority=VERY_HIGH  -su b2b-new,b2b-rd -du spider,spider afs://pegasus.afs.baidu.com:9902/path1 hdfs://yq01-build-hdfs.dmop.baidu.com:54310/path2

   hadoop job -list: 查看当前任务数量

💡 4. 注意事项

• HDFS命令区分大小写，确保正确输入命令和路径。
• 某些命令可能需要Hadoop集群管理员权限。
• 使用-R选项可以递归地对目录及其内容执行操作。
• 定期检查HDFS的健康状况，以确保数据的完整性和可用性。

💡 5. 总结

  Hadoop的HDFS命令行工具提供了丰富的功能，用于管理分布式文件系统中的文件和目录。通过本博客的代码示例，我们学习了如何使用这些命令来执行基本和高级的文件操作。希望这篇博客能够帮助你更好地理解Hadoop HDFS命令的用法，提高你在Hadoop集群中管理数据的效率。