分布式文件系统HDFS及其命令

HDFS的shell操作

引言

1、调用文件系统(FS)shell命令应该使用hadoop fs的形式
2、所有FS的shell命令都使用URI路径作为参数
      URI格式为:scheme://authority/path。HDFS的scheme是hdfs;本地文件系统的scheme是file。如果未指定,就会使用配置中指定的默认scheme。

命令讲解

1、hadoop version  —— 查看hadoop版本
      eg.•  [root@hadoop0 ~]# hadoop version

              Hadoop 2.6.2

2、hadoop archive ——创建hadoop档案文件(打包过程)

     用法:hadoop  archive  -archiveName  NAME –p  <src>*  <dest> 要创建的档案的名字。

                  NAME名字必须后缀为.har,规定

                  src    文件系统的路径名,和通常含正则表达的一样。

                 dest 保存档案文件的目标目录。

    eg.[root@hadoop0 ~]# hadoop  archive  -archiveName  input.har  -p  /input /

          验证:hadoop  fs  -ls  har:///input.har

3、hadoop dfsadmin ——管理命令

     -report                报告文件系统的基本信息和统计信息

     -safemode        enter 进入安全模式   leave 退出安全模式   get 获取状态

                                 安全模式也是只读模式。两种情况下自动进入安全模式:启动未完成处于这个模式和复制删除数据块时。

     -refreshNodes  重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。

        黑名单(不能加入集群):配置vimhdfs-site.xml。name:dfs.hosts.exclude,value:/usr/local/hadoop/etc/hadoop/exclude

                                                       vim exclude。 新建exclude文件放黑名单的名字

        白名单(只有白名单上的可以加入集群):配置vimhdfs-site.xml。name:dfs.hosts,value:/usr/local/hadoop/etc/hadoop/hosts

                                                      vim hosts。 新建hosts文件放黑名单的名字

4、hadoop job MapReduce ——作业交互和命令

      •     -list [all]                        -list all显示所有作业。-list只显示将要完成的作业。

      •     -kill-task <task-id>  杀死任务

      •     -kill <job-id>                          杀死指定作业

5、hadoop fsck ——运行HDFS文件系统检查工具

      hadoop fsck/    检查整个文件系统的健康情况

6、hadoop jar ——运行jar文件

     eg.hadoop jar MapReduce.jar

7、所有的HDFS命令都是以hadoop fs 开头。

    (1)在线帮助   hadoop fs ——查看HDFS的所有常用命令语法

                                hadoop fs help ——同上

                                hadoop fs -help 命令 ——查看“命令”这一命令的具体功能

    (2)




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值