简单的hadoop配置（我安装的问题）

一篇讲的非常详细的hadoop集群配置信息：http://blog.csdn.net/hguisu/article/details/7237395

 从运维角度出发的hadoop配置，深入学习，有了很大提高http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

 

 

按实战hadoop上的讲解一步步操作，还是遇到不少问题，

1.  伪分布模式的配置： java的环境变量，一般配置在conf/hadoop-env.sh中。我们为了统一方便，直接在/etc/profile中，直接加入

相关的问题，在同事的blog都有介绍，我不赘述，参看：

http://blog.csdn.net/shuhuai007/article/details/8298845

注意，如果用root用户，无法直接启动hadoop，会报错如下：

 

请创建一个普通用户，如hadoop，其用户组可以是root也可以是一个新组，然后chown –R hadoop：hadoop文件名，将文件的使用权限赋给hadoop用户，然后在hadoop用户下，就可以使用hadoop了。

 具体原因是在文件bin/hadoop文件中，有一行执行命令：

 

 

 

如果是分布式这是一个简答配置

1.修改hosts文件

都改成

127.0.0.1 localhost

192.168.0.5 master

192.168.0.3 slave

192.168.0.102 slave1

然后在每台机器上执行：

1.. 修改sshd_config文件，命令为：vi/etc/ssh/sshd_config

        将#PasswordAuthentication no的注释去掉，并且将NO修改为YES

        将#PermitRootLogin yes的注释去掉

2. ssh-keygen -t rsa；

3 进入目录/root/.ssh: cd /root/.ssh

4 运行命令：cat id_rsa.pub>> authorized_keys;

5 改变文件authorized_keys访问权限： chmod600 authorized_keys

6 改变文件id_rsa访问权限：chmod 600id_rsa

最后在master机器上：

执行$ cd ~/.ssh  #（这是个隐藏的目录，必须使用这个命令进入，可以用ll -a查看）

$ cp id_rsa.pub authorized_keys

$ scp authorized_keysslave:/root/.ssh/authorized_key