hadoop 命令总结

最新推荐文章于 2021-03-18 15:45:19 发布

wwwtotoro

最新推荐文章于 2021-03-18 15:45:19 发布

阅读量4.8k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/wwwtotoro/article/details/70245790

版权

本文总结了Hadoop命令的使用，包括如何通过source命令进行认证，以及使用hadoop fs -ls命令来访问HDFS上的文件系统。理解这些命令对于有效地管理和操作Hadoop分布式文件系统至关重要。

摘要由CSDN通过智能技术生成

1. Hadoop是独立的文件系统，和linux文件系统独立，不能直接使用linux命令。

2. 登录hadoop服务器，先执行haoop的环境变量命令(在root用户下面登陆)：
hadoopc1h1:~ # . /opt/client/bigdata_env
执行hadoop启动需要的安全认证：

. /opt/client/bigdata_env
cd /opt/client

source bigdata_env ossuser keytab/ossuser.keytab

或直接 source /opt/client/bigdata_env ossuser /opt/client/keytab/ossuser.keytab
hadoop fs -ls /srv/smartcare/cal*/ran

访问hadoop文件系统前要先认证，ls是linux命令，访问的是linux，hadoop fs -ls 才能访问hadoop文件系统，hadoop服务器本身是linux系统，HDFS部署在hadoop服务器上，直接ls访问的是物理文件。hadoop fs -ls访问的是数据文件。就像在自己window系统上安装IDE，可以访问.java文件。hadoop fs -ls 可以访问HDFS。

3. 查看文件列表
hadoop fs -ls /srv/smartcare/inventorycfg/CalcHistory

4. 查看文件内容
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/NPX.dat
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/healthu_day.da