hadoop的安装

Hadoop安装文档

1.安装环境

操作系统类型：CentOS-6.2-x86_64-bin-DVD1.iso

JDK：jdk-7u21-linux-x64 .rpm

Hadoop：hadoop-1.1.2.tar.gz

 

集群中包括四个节点，一个master,三个slaver,

相关设置如下:

       

机器名称	IP地址
Master.Hadoop	10.1.250.102
Slave1.Hadoop	10.1.250.103
Slave2.Hadoop	10.1.250.104
Slave3.Hadoop	10.1.250.105

2.安装

2.1网络配置

1.修改/etc/sysconfig/network文件，配置主机名

修改后内容如下:

Master.Hadoop配置后内容 ：

 

Slave1.hadoop配置后内容：

 

Slave2.hadoop配置后内容：

 

Slave3.hadoop配置后内容:

 

2.修改/etc/hosts文件

各节点机器配置后如下：

 

2.2创建hadoop用户

2.3 hadoop用户SSH无密码验证

没有安装ssh和rsync，可以通过下面命令进行安装:

yum install ssh 安装SSH协议

yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

service sshd restart 启动服务

需要配置master->slaver和slaver->masetr的双向无密码验证。

过程如下。

1．修改/etc/ssh/sshd_config配置文件

vi  /etc/ssh/sshd_config

（要确保这些字符前无注释符号“#”）

RSAAuthentication  yes

PubkeyAuthentication yes

AuthorizedKeysFile  .ssh/authorized_keys

PasswordAuthentication yes

PeimitEmptyPasswords yes

 

2． 先在所有节点（主，从）上执行如下命令

su – hadoop

cd $HOME

mkdir .ssh

chmod 700 .ssh ---这个命令一定要执行，不然会报错

ssh-keygen –t rsa

ssh-keygen –t dsa

cat *.pub>>authorized_keys;

chmod 600 authorized_keys

3．在所有slave节点上依次执行

   主机Slave1.Hadoop上执行命令:

   scpauthorized_keys Master.Hadoop:/home/hadoop/.ssh/keys_s1

   主机Slave2.Hadoop上执行命令:

   scpauthorized_keys Master.Hadoop:/home/hadoop/.ssh/keys_s2

主机Slave3.Hadoop上执行命令:

   scpauthorized_keys Master.Hadoop:/home/hadoop/.ssh/keys_s3

4．在master节点上执行

   catKeys_s1>>authorized_keys

   catKeys_s2>>authorized_keys

   catKeys_s3>>authorized_keys

   scpauthorized_keys Slave1.Hadoop:/home/hadoop/.ssh/.

   scpauthorized_keys Slave2.Hadoop:/home/hadoop/.ssh/.

   scpauthorized_keys Slave3.Hadoop:/home/hadoop/.ssh/.

至此ssh配置完成，注意以上命令都是在hadoop用户下执行

2.4 Java环境安装

1．安装JDK

   以root用户安装

  

找到jdk的安装文件，我的是rpm文件，直接运行

rpm  –Uvhjdk-7u21-linux-x64.rpm

java安装完以后位于/usr/java

各节点都需要安装jdk

2．配置环境变量

   编辑/etc/profile文件

   加入

    #set java environment

 

exportJAVA_HOME=/usr/java/jdk1.7.0_21

exportJRE_HOME=/usr/java/jdk1.7.0_21/jre

exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

  配置完成后如下

  

同样各个节点都需要配置

然后执行source /etc/profile 来重新编译一次

 

验证配置成功

Javac –version

 

 

2.5安装Hadoop集群

1.解压hadoop

tar –zxvf hadoop-1.1.2-bin.tar.gz;

解压以后即可，无需安装，mv到/usr/hadoop目录下

mv hadoop-1.1.2/usr/hadoop

修改权限

 chown –R hadoop:hadoop hadoop

在/usr/hadoop目录下创建 tmp文件

mkdir tmp

2.配置 /etc/profile文件，加入如下修改

# set hadoop path

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_HOME_WARN_SUPPRESS=1

3.重新编译/etc/profile

 Source/etc/profile

4.配置 hadoop

1.配置/usr/hadoop/conf/hadoop-env.sh在最后加入

# set java environment

export JAVA_HOME=/usr/java/jdk1.7.0_21

2.配置core-site.xml

 <configuration>

  <property>

 

       <name>hadoop.tmp.dir</name>

       <value>/usr/hadoop/tmp</value>

       <description>A base for other temporarydirectories.</description>

   </property>

<!-- file system properties -->

   <property>

       <name>fs.default.name</name>

       <value>hdfs://10.1.250.102:9000</value>

   </property>

</configuration>

3.配置hdfs-site.xml

 <configuration>

  <property>

       <name>dfs.replication</name>

       <value>1</value>

   </property>

 <property>

   <name>dfs.permissions</name>

   <value>false</value>

 </property>

</configuration>

4.配置 mapred-site.xml

<configuration>

   <property>

       <name>mapred.job.tracker</name>

       <value>http://10.1.250.102:9001</value>

   </property>

</configuration>

5.配置masters文件

[root@Master conf]# more masters

10.1.250.102

以上五步需要在各节点配置，且配置一样。

6.配置slaves文件，本步只需在master主机上配置

[root@Master conf]# more slaves

10.1.250.103

10.1.250.104

10.1.250.105

5.启动及验证

1.格式化hdfs文件系统

  hadoop namenode -format

2.启动hadoop

Start-all.sh

3.验证hadoop

1).jps

2)hadoopdfsadmin -report