HDFS的shell操作
引言
命令讲解
Hadoop 2.6.2
2、hadoop archive ——创建hadoop档案文件(打包过程)
用法:hadoop archive -archiveName NAME –p <src>* <dest> 要创建的档案的名字。
NAME名字必须后缀为.har,规定
src 文件系统的路径名,和通常含正则表达的一样。
dest 保存档案文件的目标目录。
eg.[root@hadoop0 ~]# hadoop archive -archiveName input.har -p /input /
验证:hadoop fs -ls har:///input.har
3、hadoop dfsadmin ——管理命令
-report 报告文件系统的基本信息和统计信息
-safemode enter 进入安全模式 leave 退出安全模式 get 获取状态
安全模式也是只读模式。两种情况下自动进入安全模式:启动未完成处于这个模式和复制删除数据块时。
-refreshNodes 重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
黑名单(不能加入集群):配置vimhdfs-site.xml。name:dfs.hosts.exclude,value:/usr/local/hadoop/etc/hadoop/exclude
vim exclude。 新建exclude文件放黑名单的名字
白名单(只有白名单上的可以加入集群):配置vimhdfs-site.xml。name:dfs.hosts,value:/usr/local/hadoop/etc/hadoop/hosts
vim hosts。 新建hosts文件放黑名单的名字
4、hadoop job MapReduce ——作业交互和命令
• -list [all] -list all显示所有作业。-list只显示将要完成的作业。
• -kill-task <task-id> 杀死任务
• -kill <job-id> 杀死指定作业
5、hadoop fsck ——运行HDFS文件系统检查工具hadoop fsck/ 检查整个文件系统的健康情况
6、hadoop jar ——运行jar文件
eg.hadoop jar MapReduce.jar
7、所有的HDFS命令都是以hadoop fs 开头。
(1)在线帮助 hadoop fs ——查看HDFS的所有常用命令语法
hadoop fs help ——同上
hadoop fs -help 命令 ——查看“命令”这一命令的具体功能
(2)