Hadoop2.7.3伪分布式搭建

1、 需要一台centos6.7系统

2、 主机名（hostname）:Node1

3、 Ipaddress:192.168.150.9

4、 Subnet mask:255.255.255.0

5、 Gateway: 192.168.150.1

6、 Hadoop版本：Hadoop 2.7.3.tar.gz

7、 安装JDK： jdk7u79linuxx64.tar.gz

8、 配置本机的ssh免密登录：

在本机上执行如下操作

ssh-keygen -t rsa -P  '' cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod  600  ~/.ssh/authorized_keys

　　完成之后，以 root 用户登录，修改 ssh 配置文件

1	vi /etc/ssh/sshd_config

　　把文件中的下面几条信息的注释去掉：　

　　RSAAuthentication yes # 启用 RSA 认证
　　PubkeyAuthentication yes # 启用公钥私钥配对认证方式

　　AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

之后重新启动ssh服务

service  sshd  restart

9、 配置本地yum源：

mkdir /mnt/cdrom

mount /dev/cdrom /mnt/cdrom

cd /etc/yum.repo.d

rename  .repo  .repo.bak *

mv Centos-Media.repo.bak Centos-Media.repo

vi Centos-Media.repo

{

#CentOS-Media.repo

#

#  This repo can be used with mounted DVD media,verify the mount point for

#  CentOS-6. You can use this repo and yum to install items directly off the

#  DVD ISO that we release.

#

# To usethis repo, put in your DVD and use it with the other repos too:

#  yum --enablerepo=c6-media [command]

# 

# or forONLY the media repo, do this:

#

#  yum --disablerepo=\* --enablerepo=c6-media[command]

 

[c6-media]

name=CentOS-Node1

baseurl=file:///mnt/cdrom

gpgcheck=1

enabled=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

}

10、           修改主机名：

Vim  /etc/sysconfig/network

[root@jym/]# vim /etc/sysconfig/network

[root@jym/]# cat  /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=Node1

NTPSERVERARGS=iburst

11、           去除掉开启启动时候的倒计时：

Vim  /boot/grub/menu.lst   将其中的timeout修改为0

12、安装JDK时判断是否有默认安装版本JDK

然后重新安装JDK：

http://www.cnblogs.com/ysocean/p/6952166.html

13 安装Hadoop-2.7.3.tar.gz

将下载好的Hadoop压缩包复制到/home/hadoop中

进行解压，之后并对hadoop-2.7.3文件夹进行重命名为hadoop2.7

之后新建文件夹tmp

然后配置Hadoop的环境变量

vim /etc/profile

然后保存后，并执行source  /etc/profile  

之后进行相应的验证：输入hadoop,出现以下信息则配置成功

14、修改配置文件

vim  /home/hadoop/hadoop2.7/etc/hadoop/hadoop-env.sh

在修改：vim  /home/hadoop/hadoop2.7/etc/hadoop/core-site.xml

最后修改：vim /home/hadoop/hadoop2.7/etc/hadoop/hdfs-site.xml

到此为止，我们就搭建好了一个伪分布式Hadoop环境

然后进行初始化hdfs文件系统

bin/hdfs  namenode  -format

之后重启linux系统:reboot

在启动hdfs:

sbin/start-dfs.sh

输入jps进行相应的验证

然后我们就可以通过http://192.168.150.9:50070来访问Namenode

我们点开 Datanodes ,发现就一个 datanode ，而且 IP 是 NameNode 的

我们使用命令创建一个文件

　　

　　那么在网页上我们就能看到这个文件

　　

补充：需要修改hosts文件：

vim  /etc/hosts修改的问价如下：