常用指令集合:
0. 配置 Hadoop 的 PATH 变量:
vim ~/.bashrc
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
1. 启动 Hadoop:
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
未设置 Hadoop 全局变量,则如下启动:
cd usr/local/hadoop/ (Hadoop 安装目录)
./sbin/start-dfs.sh
./sbin/start-yarn.sh
2. 关闭 Hadoop:
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver
未设置 Hadoop 全局变量,则如下关闭:
cd usr/local/hadoop/ (Hadoop 安装目录)
./sbin/stop-dfs.sh
./sbin/stop-yarn.sh
3. 查看 Hadoop 版本:
hadoop version
未设置 Hadoop 全局变量,则如下查看:
cd usr/local/hadoop/ (Hadoop 安装目录)
./bin/hadoop version
4. 查看日志输出地址:
/usr/local/hadoop/(Hadoop 安装目录)logs/hadoop-hadoop-namenode-Master.out
5. 查看当前进程:
jps
注:
1. 连接无线网时,IP 地址可能会变;每次启动时先检查IP地址;
2. 检查每个节点至今能否相互 ping 通;
3. hdfs-site.xml 中修改 DataNode 的个数 (dfs.replication);
4. hosts 文件中修改节点的IP地址;
5. hadoop 3.x 版本,文件 slaves 改为 workers,其中的 localhost 表示 master 节点即作为namenode,又作为 datanode。所以默认启动 Hadoop 时,通过 jps 查看当前进程发现 namenode 与 datanode 均在 master 节点上。此时将 workers 中的 localhost 改为 从节点(如修改为 Slave1),则表示分布式集群;