hadoop学习笔记<二>----hadoop集群环境的配置

主要步骤请参考 http://dngood.blog.51cto.com/446195/775368。

里边的步骤都比较详细（也就是如何去配置hadoop环境 ，即 how）。

 

这里我着重记录下为什么要这样做（也就是why）

 

操作系统环境：

 linux （GNU/Linux是hadoop产品开发和运行的平台。）

完全分布式模式只能布置在linux下（unix未测试，hadoop官方也未给出明确说明。 windows目前来说只能作为一个开发平台，而不能作为一个运行平台）

 

 

所需软件

1.java 1.5.x，必须安装，建议选择Sun公司发行的Java版本。（这个也不多说了，hadoop的运行环境）

2.ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。（比如 启动hadoop集群环境时候，start-all.sh 会调用其他机器上的启动脚本，这时候需要权限之类的。 可以简单理解为配置好了ssh，权限这些事情就交给ssh做了）

3.hadoop  这个...不用多说了

 

 

java 和 ssh 的安装这里就不再多说，网上很容易搜到。

ssh的配置 文中讲的也是比较清楚的，如果想更多的了解ssh，可以参考原文作者给出的ssh连接。http://dngood.blog.51cto.com/446195/724207

 

配置 host和主机名

修改/etc/hosts文件。给集群的机器ip地址起一个别名，在下边的配置文件中（如原文中的 四 hadoop 配置  一章）更容易使用和理解。

 

linux下创建hadoop用户

理论上不创建也可以，但是还是很建议单独创建hadoop用户，便于管理。

 

 

配置 hadoop配置文件时候的注意事项：

    在修改配置文件时候，value里边的 namenode之类的字段，是要在/etc/hosts 里边的存在的host，不然可能找不到结点。

    <name>mapred.job.tracker</name>

    <value>namenode:9001</value>

 

修改 hadoop/conf/core-site.xml 时候的注意事项：

要配置hadoop.tmp.dir，不然重启机器之后，会造成http://yourNameNode:50070/dfshealth.jsp 不能访问的问题。（log会报 INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz... ）

<property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

</property>

 

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/hadooptmp</value>

    <description>A base for other temporary directories.</description>

</property> 

 

远程拷贝的命令：scp

eg:scp -r hadoop hadoop@datanode1:/home/hadoop/

 

启动hadoop集群环境后，测试结点是否正常工作的命令： jps

　jps位于jdk的bin目录下，其作用是显示当前系统的java进程情况，及其id号。

PS：用了几天才发现，这些都是很入门的配置，too young,too simple。路还很长...

 

 

 

==============================================================

 

我也是刚开始学习hadoop，学习的资料来自于 《hadoop实战》和《hadoop权威指南》 以及网上搜到的一些资料。

这些笔记是学习的过程中自己积累的，然后用更加浅显的话表述出来，希望也能帮助到初学者。当然里边会有很多错误，也希望大家指出，我会认真改正，谢谢