大数据学习笔记之一：Hadoop 常用指令集合与启动注意项

常用指令集合：

0. 配置 Hadoop 的 PATH 变量：

vim ~/.bashrc
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

1. 启动 Hadoop：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

未设置 Hadoop 全局变量，则如下启动：

cd usr/local/hadoop/ （Hadoop 安装目录）
./sbin/start-dfs.sh
./sbin/start-yarn.sh

2. 关闭 Hadoop：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

未设置 Hadoop 全局变量，则如下关闭：

cd usr/local/hadoop/ （Hadoop 安装目录）
./sbin/stop-dfs.sh
./sbin/stop-yarn.sh

3. 查看 Hadoop 版本：

hadoop version

未设置 Hadoop 全局变量，则如下查看：

cd usr/local/hadoop/ （Hadoop 安装目录）
./bin/hadoop version

4. 查看日志输出地址：

/usr/local/hadoop/（Hadoop 安装目录）logs/hadoop-hadoop-namenode-Master.out

5. 查看当前进程：

jps

注：

1. 连接无线网时，IP 地址可能会变；每次启动时先检查IP地址；
2. 检查每个节点至今能否相互 ping 通；
3. hdfs-site.xml 中修改 DataNode 的个数 （dfs.replication）；
4. hosts 文件中修改节点的IP地址；
5. hadoop 3.x 版本，文件 slaves 改为 workers，其中的 localhost 表示 master 节点即作为namenode，又作为 datanode。所以默认启动 Hadoop 时，通过 jps 查看当前进程发现 namenode 与 datanode 均在 master 节点上。此时将 workers 中的 localhost 改为 从节点（如修改为 Slave1），则表示分布式集群；