haddop完全分布式安装

一、hadoop 完全分布式安装

需要准备的东西：
1、centos
2、VMware Workstation
3、hadoop
4、jdk

二、 配置集群

类型

IP地址

机器名

Namenode

192.168.1.128

hss00

Datanode

192.168.1.129

hss01

Datanode

192.168.1.130

hss02

可以先将一个系统装好然后另外复制两份。

三、固定ip地址

四、配置系统

1、关闭防火墙

（1）修改/etc/selinux/config 文件
（2）修改hostname
------------------ vi /etc/sysconfig/network--------------------
（3）免密登录：
====== ssh-keygen=======（三个机器都要输入）

①.命令行输出 cd ~/.ssh/

②.id_rsa.pub是共钥文件，id_rsa是密钥文件
③.创建文件夹 authorized_keys 代码：touch authorized_keys

④.
把三台主机的公钥都拷贝进 authorized_keys

⑤.
把authorized_keys 文件复制到另外两台主机

scp -rp authorized_keys 192.168.1.129:~/.ssh/
scp -rp authorized_keys 192.168.1.130:~/.ssh/

⑥.
测试：

完成！

五、将jdk、hadoop安装包发送到centos中并解压

我是用的 Secure CRT 这款软件，蛮好用的。

（1）用Secure CRT将hadoop 和 jdk 的tar 包上传到centos上 路径： /usr/local/src
（2）解压：
解压hadoop

tar -xvzf hadoop-2.7.2.tar.gz 

解压jdk

tar -xvzf jdk-7u7-linux-i586.tar.gz 

（3）配置jdk的环境变量：

vi  /etc/profile

在文件末行添：（保存退出后记得 source /etc/profile）

export JAVA_HOME=/usr/local/src/jdk1.7.0_07
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/jre
PATH=${JAVA_HOME}/bin:$PATH

java -version 查看是否成功：

六、配置hadoop

（1）配置 /etc/profile : 配置环境变量

export HADOOP_HOME=/usr/local/src/hadoop-2.7.2
PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

（2）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

vi /usr/local/src/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

这一行是文件里本来就有的，只需要将值改成你之前配置的 JAVEA_HOME就行
（3）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/yarn-env.sh

这一行本来是被注释的，把注释去了并修改值。
（3）配置slaves

vi  /usr/local/src/hadoop-2.7.2/etc/hadoop/slaves

自己用了啥名就写啥名
（4）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/core-site.xml

vi  /usr/local/src/hadoop-2.7.2/etc/hadoop/core-site.xml


<configuration>
<property>
 <name>fs.default.name</name>
 <value>hdfs://hss00:9000</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/local/src/hadoop-2.7.2/tmp</value> 
</property>
</configuration>

两个红框框里的写你自己的，可能不一样
（5）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>2</value>//节点数
</property>
</configuration

（6）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/mapred-site.xml
先将 mapred-queues.xml.template 拷贝一份 命名为 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml


<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>hss00:9001</value>
 </property>
</configuration>

（7）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>hss00:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>hss00:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hss00:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hss00:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hss00:8088</value>
     </property>
</configuration>

七、启动

格式化 hadoop
（1）

 hadoop namenode –format
 去到sbin目录下
 start-all.sh

结果：
（主节点）

（从节点）

在浏览器查看 50070端口：