Hadoop常用命令

HDFS命令行接口
hadoop fs命令



跟linux的类似



ls（显示一层） lsr（递归）



du（显示所有文件及大小） dus（文件夹大小） count（多少个文件、大小）



hadoop fs –help mv 帮助



mv（移动）

cp（复制）

rm（删除） rmr(递归删除)

mkdir（新文件夹）



put（从本地文件复制到hdfs）

get（从hdfs复制到本地）

getmerge（合并目录中到多个文件 到 本地系统）



copyFromLocal（从本地拷贝到hdfs）

movelFromLocal（从本地移动到hdfs）



copyToLocal（从hdfs拷贝到本地）





text（允许压缩包）

cat（输出到控制台）



stat（分析，如修改时间 块大小 复制）



setrep（指定备份几份）



touchz（往文件写一个时间戳 内容是yyyy-MM-dd HH:mm:ss（文件必须零长度））



tail



chmod chowm chgrp









hdfs dfsadmin –report dfs信息



hdfs dfsadmin –savemode enter 进入 leave 离开 get得到当前状态 wait等待结束



hdfs dfsadmin –saveNamespace 保存内存信息到磁盘



hdfs dfsadmin –saveNamespace 保存内存信息到磁盘（必须安全模式）



hdfs dfsadmin –refreshNodes 比如新加节点 重新通信



hdfs dfsadmin –upgradeProgress status 升级信息

hdfs dfsadmin –finalizeUpgrade 停止升级



hdfs dfsadmin –metasave filename 存meta到本地文件



hdfs dfsadmin –setQuota 2 path 最多放几个文件（从现在开始的）

hdfs dfsadmin –clrQuota 2 path 清除



hdfs dfsadmin –setSpaceQuota 2 path （包含当前的）

hdfs dfsadmin –clrSpaceQuota 2 path （包含当前的）



hdfs dfsadmin –setBalancerBandwidth [byte per second] 负载均衡带宽

HDFS

对dfs文件操作命令如下：
hdfs dfs –mkdir /input //创建input文件夹，等同于如下：
hadoop fs -mkdir /input

hdfs namenode –format //格式化namenode
hdfs dfsadmin –report //查看集群状态
hdfsfsck / -files -blocks //查看文件块组成

格式：
hadoop fs -command canshu