Hadoop实践（二）---Hadoop集群的使用和配置

bin目录下有很多启动脚本，具体如下：

start-all.sh：启动所有的Hadoop守护进程（NameNode SecondaryNameNode DataNode JobTracker[AM] TaskTracker[NM]）
stop-all.sh：停止所有的Hadoop守护进程（NameNode SecondaryNameNode DataNode JobTracker[AM] TaskTracker[NM]）
start-dfs.sh：启动Hadoop HDFS守护进程（NameNode SecondaryNameNode DataNode ）
stop-all.sh：停止Hadoop HDFS守护进程（NameNode SecondaryNameNode DataNode ）
hadoop-daemons.sh start namenode：单独启动NameNode守护进程
hadoop-daemons.sh stop namenode：单独停止NameNode守护进程
hadoop-daemons.sh start datanode：单独启动DataNode守护进程
hadoop-daemons.sh stop datanode：单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode：单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode：单独停止SecondaryNameNode守护进程
start-mapred.sh：启动Hadooop MapReduce守护进程JobTracker[AM] TaskTracker[NM]
stop-mapred.sh：停止Hadooop MapReduce守护进程JobTracker[AM] TaskTracker[NM]
hadoop-daemons.sh start jobtracker：单独启动JobTracker[AM]守护进程
hadoop-daemons.sh stop jobtracker：单独停止JobTracker[AM]守护进程
hadoop-daemons.sh start tasktracker：单独启动TaskTracker[NM]守护进程
hadoop-daemons.sh stop tasktracker：单独停止TaskTracker[NM]守护进程

在Hadoop2.0中没有JobTracker TaskTracker

集群启动顺序（关闭顺序相反）：

1.启动NameNode守护进程
2.启动DataNode守护进程
3.启动SecondaryNameNode守护进程
4.启动JobTracker[AM]守护进程
5.启动TaskTracker[NM]守护进程

Hadoop配置文件：

hadoop-env.sh：（Bash脚本）记录脚本要用的环境变量，以运行Hadoop
core-site.xml：（Hadoop配置XML）Hadoop核心配置文件（MapReduce、HDFS和常用I/O设置）
hdfs-site.xml：（Hadoop配置XML）Hadoop守护进程的配置选项（NameNode、SecondaryNameNode和DataNode）
mapred-site.xml：（Hadoop配置XML）MapReduce守护进程的配置项（JobTracker[AM]、TaskTracker[NM]）
masters：（纯文本）运行SecondaryNameNode的机器列表（每行一个）
slaves：（纯文本）运行DataNode和TaskTracker[NM]的机器列表（每行一个）
hadoop-metrics.properties：（Java属性）控制metrics在Hadoop上如何发布，一般对Hadoop监控会用到这个配置文件
log4j.properties：（Java属性）系统的日志文件、NameNode审计日志、TaskTracker[NM]子进程任务的日志属性

Master和Slave上的配置文件不需要全部同步，如果确定都是通过Master启动和关闭，Slave机器上的配置文件不需要去维护，但是如果希望在任意一台机器上都可以启动和关闭Hadoop就必须全部保持一致

Master和Slave机器上的hosts文件中必须把集群中的机器都配置上去