一个hadoop笔记

原文链接

配置文件/etc/profile：

编辑配置文件 /etc/profile，配置 hadoop环境变量 HADOOP_HOME。

cd ~
sudo vim /etc/profile

在配置文件中输入以下代码：

export HADOOP_HOME=/usr/local/hadoop      
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

编辑完成后保存并退出，使用 source命令使配置生效

source /etc/profile

测试环境是否配置成功

hadoop version

开启hadoop：

启动 Hadoop的 NameNode和 DataNode守护进程。

cd $HADOOP_HOME
./sbin/start-dfs.sh

启动时如果出现SSH提示，输入 yes即可。还有，启动时可能会出现 WARN提示。这个提示可以忽略不计，不会影响 hadoop的正常使用。

启动完成之后，输入 jps指令查看所有的 Java进程。

jps

如果出现以下四个进程，证明 Hadoop启动成功。

Jps
DataNode
NameNode
SecondaryNameNode

如果想要启动所有的 Hadoop进程，使用 all命令，启动过程中的 WARN可以忽略不计。伪分布式模式下我们仅 start-dfs就足够了，不必将全部进程都启动，全分布式模式才需要 start-all。

cd $HADOOP_HOME
./sbin/start-all.sh

Hadoop进程全部启动的话，会有六个进程

Jps
DataNode
NameNode
SecondaryNameNode
NodeManager
ResourceManager

如果想要关闭 Hadoop，使用以下命令关闭 Hadoop守护进程。如果使用 all启动了全部进程，也请使用 all关闭全部进程。

//关闭守护进程
cd $HADOOP_HOME
./sbin/stop-dfs.sh

//关闭全部进程
cd $HADOOP_HOME
./sbin/stop-all.sh

如果 Hadoop启动之后输入 jps指令发现 DataNode节点没有启动，可以尝试一下删除 tmp文件夹，然后重新初始化 HDFS。

cd $HADOOP_HOME
./sbin/stop-dfs.sh
rm -r ./tmp
./bin/hdfs namenode -format
./sbin/start-dfs.sh

注意，这样会删除 HDFS中原有的所有数据，如果原有数据比较重要的话请做好备份。