hadoop初入门(3)

1. 执行命令

将输入文件拷贝到分布式文件系统：

$ bin/hadoop fs -put conf input

$ bin/hadoop fs -get output output
$ cat output/*

在分布式文件系统上查看输出文件：

$ bin/hadoop fs -cat output/*

完成全部操作后，停止守护进程：

$ bin/stop-all.sh

2. Hadoop集群

安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。

我们用HADOOP_HOME指代安装的根路径。通常，集群里的所有机器的HADOOP_HOME路径相同。

也就是说，集群包含，master（主节点），core（有hdfs部署的计算节点），task（无hdfs部署的计算节点，适合扩展）。

集群的配置
对Hadoop的配置通过conf/目录下的两个重要配置文件完成：

hadoop-default.xml - 只读的默认配置。
hadoop-site.xml - 集群特有的配置。

要配置Hadoop集群，你需要设置Hadoop守护进程的运行环境和Hadoop守护进程的运行参数。

Hadoop 守护进程 指NameNode/DataNode 和JobTracker/TaskTracker。

Slaves
通常，你选择集群中的一台机器作为NameNode，另外一台不同的机器作为JobTracker。余下的机器即作为DataNode又作为TaskTracker，这些被称之为slaves。

在conf/slaves文件中列出所有slave的主机名或者IP地址，一行一个。

启动Hadoop
启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

格式化一个新的分布式文件系统：

$ bin/hadoop namenode -format

在分配的NameNode上，运行下面的命令启动HDFS：

$ bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

在分配的JobTracker上，运行下面的命令启动Map/Reduce：

$ bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

停止Hadoop
在分配的NameNode上，执行下面的命令停止HDFS：

$ bin/stop-dfs.sh

bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。

在分配的JobTracker上，运行下面的命令停止Map/Reduce：

$ bin/stop-mapred.sh

bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。

---

参考：

1. Hadoop快速入门；
2. Hadoop 集群搭建；