hadoop笔记

1. 启停hdfs

start-dfs.sh|stop-dfs.sh

• 在名称结点上启动|关闭namenode进程
• 在所有数据结点启动|关闭datanode进程

单独启停hdfs进程

• 在namenode结点 hdfs --daemon start|stop namendoe
• 在datanode结点 hdfs --daemon start|stop datanode

2. 启停yarn

start-yarn.sh|stop-yarn.sh

• 在namenode结点启动resoucemanager
• 在datanode结点启动nodemanager

单独启停yarn进程

• 在namenode结点 yarn --daemon start|stop resourcemanager
• 在datanode结点 yarn --daemon start|stop nodemanager

3. HDFS CLI

hdfs中没有当前目录的概念，没有cd的功能，所以hdfs的所有路径必须是绝对路径。

hdfs dfs -cmd

hdfs dfs -ls [-R]

hdfs dfs -mkdir [-p]

hdfs dfs -rmdir

hdfs dfs -rm -r /test

hdfs dfs -cat

hdfs dfs -text /f1.txt.gz(查看压缩文件)

hdfs dfs -cp

hdfs dfs -mv

hdfs dfs -put -f localsrc dst(将本地localsrc上传到hdfs的dst路径)

hdfs dfs -copyFromLocal localsrc dst(和put功能相同)

hdfs dfs -get src localdst(从hdfs路径上下载文件到本地)

hdfs dfs -copyToLocal src localdst(和get功能相同)

hdfs dfs -appendToFile localsrc dstsrc(将localsrc追加到hdfs的dstsrc中)

hdfs dfs -stat [format] 查看文件信息

hdfs dfs -setrep 设置hdfs下副本的数量

hdfs dfs -help 查看帮助文档

hdfs version 查看hdfs版本

hdfs namenode [-format]

hdfs fsck -files -blocks 查询文件位置信息

hdfs dfsadmin -printTopology 查看机架的拓扑结构

hdfs dfsadmin -report 报告hadoop集群信息

hdfs dfsadmin safemode [get|enter|leave] 查看进入离开安全模式

hadoop jar 运行jar包