ubuntu服务器端配置hadoop集群

先安装ubuntu64位服务器端。前面没什么难度，直接一步步按照提示点好了(这里我设定的用户名为master，密码xz2013)，登录进去之后配置代理服务器步骤如下：

vim  ~/.bashrc 

进入之后按i进入insert模式，在文件最后添加下面的内容：

http_proxy=http://yourproxyaddress:proxyport
export  http_proxy 

添加完成后按esc，输入:wq保存并退出

输入sudo apt-get update 更新源

配置本机ip，以master为例

sudo nano /etc/network/interfaces

添加如下内容

auto eth0
iface eth0 inet static
address 192.168.200.150
netmask 255.255.255.0
gateway 192.168.11.1

修改本机的host文件

 sudo vi /etc/hosts

在最后添加如下：

192.168.200.150 master
192.168.200.151 slave1

更新完成后开始配置hadoop环境

一、创建hadoop组及用户

1.设置root用户密码

sudo passwd root

输入要设定的root的密码，修改成功

2.切换到root用户

su -

3.修改主机名hostname为master

vi /etc/hostname

将用户名改为master后保存并退出

reboot

重启ubuntu，用root用户进入

4.创建hadoop用户组及用户

addgroup hadoop
aaduser --ingroup hadoop hadoop

5. 给hadoop用户赋予root权限

赋予修改/etc/sudoers 文件的权限

chmod u+w /etc/sudoers

修改 /etc/sudoers 文件

vi /etc/sudoers

在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL

二、之后的步骤参照http://blog.csdn.net/daytimemoon/article/details/8672756

 

区别：

安装hadoop时第10步，打开conf/masters文件，添加作为secondarynamenode的主机名，编辑masters文件将localhost改为master

sudo gedit hadoop/conf/masters

第11步，  打开conf/slaves文件，添加作为slave的主机名，一行一个

sudo gedit hadoop/conf/slaves

修改为如下：

slave1

slave2（如果配置两个datanode）

三、在虚拟机上克隆hadoop1，修改hostname，ip地址，测试ssh

ssh slave1

输入yes，测试成功

删除slave的hadoop文件夹里的data*,datalog*文件夹

sudo rm -rf data*

四、启动hadoop

1.格式化

cd /usr/local/hadoop
bin/hadoop namenode -format

2.启动所有服务

 bin/start-all.sh

3.查看datanode是否启动

 jps

4.查看连接情况：

bin/hadoop dfsadmin -report