hadoop配置

注意事项

在配置ssh的无密码登录时和配置hadoop的时候，必须以相同的用户身份进行操作。这句话的意思是ssh和hadoop所在文件夹的创建者必须是相同的，否则在运行hadoop的时候，会提示输入密码
在配置hadoop的时候，需要对三个文件进行修改core-site.xml,mapred-site.xml及hadoop-env.sh。我主要参考下面的链接地址[http://www.cnblogs.com/zhengyuhong/archive/2013/10/25/3388474.html]中的配置方式进行配置。其中会存在一些问题，在下面我们逐个列出。
和配置jdk类似，必须对环境变量进行设置。

配置过程中主要存在的问题

1.难点一：ssh的配置
当我按照别人给出的方法进行试验的时候，却发现在输入ssh localhost的时候，仍然要求输入密码。最后我将authorized_keys也放在.ssh的文件夹里面。
2.难点二：按照上面链接里面的方法进行配置，结果终于发现可以运行通的时候，jps却显示只有四个进程。其中jobtracker和namenode两个进程都没有出现。最后通过在网上各种找，发现原来是没有设置环境变量的原因。同时需要强调，网络上有的说环境变量在/etc/profile中，但我是在/etc/environment中进行配置的。
3.通过日志文件的查看，发现jobtracker和namenode主要是因为端口占用无法启动。

环境说明

我进行配置的环境如下：
ubuntu 系统，32 bit, version 14.04