【Hadoop】8、基于虚拟机的Hadoop1.2.1完全分布式集群安装

基于虚拟机的Hadoop集群安装

1、我们需要的软件

Xshell， ssh secure, 虚拟机，Linux centos64， Hadoop1.2.1的安装包

2、安装以上软件

3、安装Linux，此处不多做阐述

4、首先安装jdk

我的路径是

JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5、解压Hadoop1.2.1

指令是: tar –zxvf hadoop-1.2.1.tar.gz

改一下名，做个软连接

6、配置文件

core-site.xml

第一个是namenode的主机号

第二个是我们的tmp目录，我们是通过这个目录对datanode操作的

然后保存退出

修改hdfs-site.xml

配置子的datanode

吧我们的datanode放进去

修改我们的secondarynode节点

我们机器的ip

7、配置免密码登录

$ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

从各个地方进行免密码登录
1-》2 1-》3和1-》1 2-》2 3-》3

8、启动我们的程序

还得给我们的datanode拷贝相应文件

Node1安装jdk

先删除原有的jdk

配置我们的环境

在etc/profile里面修改文件

使环境变量生效

Node1安装hadoop

Node2同上

然后就是配置文件的修改

在我们的hadoop里面的hadoop-env.sh里面配置JAVA_HOME

每个node主机上都要配置

启动程序dfs