hadoop 2.7集群搭建

目录

一：版本介绍

LINUX版本：centos6.5 64位版本（虚拟机三台机器，一主两从）
192.168.37.101
192.168.37.102
192.168.37.103

hadoop版本：2.7.7版本

JAVA版本：1.8.0

二：SSH免密

1、编辑hosts

在root用户下输入命令，vi /etc/hosts,用vi编辑hosts文件，如下：

2、生成authorized_keys文件

登录centos01，在.ssh目录下输入命令：

ssh-keygen -t rsa

，三次回车后，该目录下将会产生id_rsa，id_rsa.pub文件。其他主机也使用该方式产生密钥文件。

拷贝其它两台机器的秘钥文件到centos01

输入命令：

cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.s1 >> authorized_keys
cat id_rsa.pub.s2 >> authorized_keys

修改authorized_keys权限

chmod 600 authorized_keys

输入命令

more authorized_keys

可以看到

拷贝 authorized_keys到另外两台机器的.ssh文件夹。免密码登录设定完成，注意第一次ssh登录时需要输入密码，再次访问时即可免密码登录。

三：安装JDK

1、解压jdk安装包

下载安装包jdk-8u191-linux-x64.tar.gz，解压文件

 tar -zxvf jdk-8u191-linux-x64.tar.gz -C /home/www

解压后文件如下：

2、设置环境变量

vim /etc/profile
在/etc/profile添加如下内容

export JAVA_HOME=/home/www/jdk1.8.0_191
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
export PATH=$PATH:$JAVA_HOME/bin:

查看配置是否生效

java -version

四：安装hadoop

1、创建hadoop目录

为了便于管理，创建hdfs的NameNode、DataNode及临时文件，命令如下：

mkdir /home/hadoop
mkdir /home/hadoop/hdfs/data
mkdir /home/hadoop/hdfs/name
mkdir /home/hadoop/hdfs/temp

2、安装hadoop安装包

下载安装包hadoop-2.7.7.tar.gz，解压文件

 tar -zxvf hadoop-2.7.7.tar.gz -C /home/hadoop

解压后文件如下：