jps:查看进程
hadoop dfsadmin -safemode leave:关闭安全模式,安全模式下只读
hadoop dfsadmin -safemode enter:进入安全模式
get: 获取安全模式信息
wait:挂起,直到安全模式结束
hadoop fs -help :查看帮助信息。
hadoop fs -ls / :查看路径下文件信息
hadoop fs -mkdir a ;创建一个目录,默认在/user/hadoop/下
hadoop fs -lsr /user :递归查看目录信息
hadoop fs -put /home/hadoop/nimei.txt hdfs://h85:9000/user/hadoop/a/:将本地文件传输到hdfs下的/user/hadoop/a下
hadoop fs -df /user/hadoop/a/:查看a目录的详细信息(大小,使用情况)。
hadoop fs -du /user/hadoop/a :显示a目录下的文件的大小及绝对路径
hadoop fs -dus /user/hadoop/a :显示a目录下的文件总大小及绝对路径
hadoop fs -mv /user/hadoop/a/nimei.txt /user/hadoop/a/aaa:移动文件并改名
hadoop fs -cp /user/hadoop/a/aaa /user/hadoop/a/bbb:复制文件并改名
hadoop fs -rm /user/hadoop/a/aaa :删除单个文件
hadoop fs -rmr /user/hadoop/a/ :递归删除目录树
hadoop fs -moveFromLocal nige.txt hdfs://h85:9000/user/hadoop/a/aaa:把本地文件移动到hdfs:/user/hadoop/a下并改名
hadoop fs -get hdfs://h85:9000/user/hadoop/a/aaa /home/hadoop:从hdfs中下载文件到本地
hadoop fs -getmerge /user/hadoop/a /home/hadoop/b:把目录a中所有文件装载在一起并下载到本地起名为b
copyToLocal 拷贝到本地
moveToLocal 移动到本地路径
setrep 设置文件镜像等级(镜像个数)
tail 显示文件最后1K的内容
touchz 创建一个日期格式文件
test -【ezd】判断是否存在,是否为空,是否是目录,是返回0,不是返回1。
hadoop fs -cat /user/hadoop/a/aa.txt :查看文件内容
hadoop fs -chmod 777 /user/hadoop/a/aa.txt :修改文件权限
+x
或者u=rwx,
chgrp 更改属组
chown 更改属主
fsck:检查hadoop文件的健康状况
hadoop fsck /user/hadoop/
hadoop dfsadmin -report
查看节点健康状况。(经常使用)
或者网页端登录:192.168.18.85:50070/
stop-all.sh关闭所有节点
HDFS启动:
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start namenode 启动namenode
NameNode
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start secondarynamenode 启动secondanamenode$HADOOP_HOME_BASE/bin/hadoop-daemons.sh start datanode 启动DataNode
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start datanode
NameNode、Secondary NameNode、 DataNode$HADOOP_HOME_BASE/bin/start-dfs.sh
关闭
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop namenode$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop secondarynamenode
$HADOOP_HOME_BASE/bin/hadoop-daemons.sh stop datanode$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop datanode
NameNode、Secondary NameNode、 DataNode$HADOOP_HOME_BASE/bin/stop-dfs.sh
HDFS日志:
namenode:
位置:$HADOOP_HOME_BASE/logs/hadoop-$USER-namenode-$HOSTNAME.log
查看:tail -fn 100 $HADOOP_HOME_BASE/logs/hadoop-$USER-namenode-$HOSTNAME.log
DataNode:
位置:$HADOOP_HOME_BASE/logs/hadoop-$USER-datanode-$HOSTNAME.log
查看:tail -fn 100 $HADOOP_HOME_BASE/logs/hadoop-$USER-datanode-$HOSTNAME.log
hadoop dfsadmin -safemode leave:关闭安全模式,安全模式下只读
hadoop dfsadmin -safemode enter:进入安全模式
get: 获取安全模式信息
wait:挂起,直到安全模式结束
hadoop fs -help :查看帮助信息。
hadoop fs -ls / :查看路径下文件信息
hadoop fs -mkdir a ;创建一个目录,默认在/user/hadoop/下
hadoop fs -lsr /user :递归查看目录信息
hadoop fs -put /home/hadoop/nimei.txt hdfs://h85:9000/user/hadoop/a/:将本地文件传输到hdfs下的/user/hadoop/a下
hadoop fs -df /user/hadoop/a/:查看a目录的详细信息(大小,使用情况)。
hadoop fs -du /user/hadoop/a :显示a目录下的文件的大小及绝对路径
hadoop fs -dus /user/hadoop/a :显示a目录下的文件总大小及绝对路径
hadoop fs -mv /user/hadoop/a/nimei.txt /user/hadoop/a/aaa:移动文件并改名
hadoop fs -cp /user/hadoop/a/aaa /user/hadoop/a/bbb:复制文件并改名
hadoop fs -rm /user/hadoop/a/aaa :删除单个文件
hadoop fs -rmr /user/hadoop/a/ :递归删除目录树
hadoop fs -moveFromLocal nige.txt hdfs://h85:9000/user/hadoop/a/aaa:把本地文件移动到hdfs:/user/hadoop/a下并改名
hadoop fs -get hdfs://h85:9000/user/hadoop/a/aaa /home/hadoop:从hdfs中下载文件到本地
hadoop fs -getmerge /user/hadoop/a /home/hadoop/b:把目录a中所有文件装载在一起并下载到本地起名为b
copyToLocal 拷贝到本地
moveToLocal 移动到本地路径
setrep 设置文件镜像等级(镜像个数)
tail 显示文件最后1K的内容
touchz 创建一个日期格式文件
test -【ezd】判断是否存在,是否为空,是否是目录,是返回0,不是返回1。
hadoop fs -cat /user/hadoop/a/aa.txt :查看文件内容
hadoop fs -chmod 777 /user/hadoop/a/aa.txt :修改文件权限
+x
或者u=rwx,
chgrp 更改属组
chown 更改属主
fsck:检查hadoop文件的健康状况
hadoop fsck /user/hadoop/
hadoop dfsadmin -report
查看节点健康状况。(经常使用)
或者网页端登录:192.168.18.85:50070/
stop-all.sh关闭所有节点
HDFS启动:
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start namenode 启动namenode
NameNode
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start secondarynamenode 启动secondanamenode$HADOOP_HOME_BASE/bin/hadoop-daemons.sh start datanode 启动DataNode
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start datanode
NameNode、Secondary NameNode、 DataNode$HADOOP_HOME_BASE/bin/start-dfs.sh
关闭
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop namenode$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop secondarynamenode
$HADOOP_HOME_BASE/bin/hadoop-daemons.sh stop datanode$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop datanode
NameNode、Secondary NameNode、 DataNode$HADOOP_HOME_BASE/bin/stop-dfs.sh
HDFS日志:
namenode:
位置:$HADOOP_HOME_BASE/logs/hadoop-$USER-namenode-$HOSTNAME.log
查看:tail -fn 100 $HADOOP_HOME_BASE/logs/hadoop-$USER-namenode-$HOSTNAME.log
DataNode:
位置:$HADOOP_HOME_BASE/logs/hadoop-$USER-datanode-$HOSTNAME.log
查看:tail -fn 100 $HADOOP_HOME_BASE/logs/hadoop-$USER-datanode-$HOSTNAME.log