Hadoop集群平台搭建（2.4.1在32位ubuntu14.04上的配置）

实习的内容是Hadoop应用开发，乘着周末搭建一个自己的hadoop平台。

总的来说是由3台虚拟机构成，均是ubuntu14.04，宿主机是win8 8G内存，因此搭建这个平台还是挺顺利的。

1.Vmware WorkStation软件，我使用的是VM11版本

2.建立3个虚拟机，这个简单

主要是要改名字，改名字的方法是：sudo gedit /etc/hostname 这里会提示输入密码

我的命名就是上图。

3.配置hosts文件，这和我们在windows下改hosts一样的作用,

如：

172.19.19*.22 mipnode1
172.19.19*.118 cadnode2
172.19.19*.215 master

为了保持同一个网络段。查看命令 ：ifconfig,以及修改ip方式 sudo ifconfig eth0 172.*.*.*

4.建立hadoop运行账号，我这里同一用lee作为hadoop账号

设置hadoop用户组

sudo groupadd hadoop    

添加一个lee用户，此用户属于hadoop用户组，且具有admin权限。

sudo useradd –s /bin/bash –d /home/lee –m lee –g hadoop –G admin

设置密码

sudo passwd lee

对所有的虚拟机都配置同一个账号lee.

5.SSH免密码登录 配置node

一.装上SSH

打开"终端窗口"，输入"sudo apt-get update"-->回车-->"输入当前登录用户的管理员密码"-->回车

打开"终端窗口"，输入"sudo apt-get install openssh-server"-->回车-->输入"y"-->回车-->安装完成

打开"终端窗口"，输入"sudo ps -e |grep ssh"-->回车-->有sshd,说明ssh服务已经启动，如果没有启动，输入"sudo service ssh start"-->回车-->ssh服务就会启动

二.为每个虚拟机配置密钥

lee@cadnode2:~/.ssh$ ls
authorized_keys id_rsa id_rsa.pub known_hosts
lee@cadnode2:~/.ssh$ cat id_rsa.pub >> authorized_keys
lee@cadnode2:~/.ssh$ scp lee@master:~/.ssh/id_rsa.pub ./master_rsa.pub
Agent admitted failure to sign using the key.
lee@master's password:
id_rsa.pub 100% 392 0.4KB/s 00:00
lee@cadnode2:~/.ssh$ cat master_rsa.pub >> authorized_keys
lee@cadnode2:~/.ssh$

一旦ip改变，则密钥失效重新需要配置

 三.JDK配置

JDK的配置比较简单

把一份jdk放到home（实际上是home/用户名）中解压即可，再配置环境变量   sudo gedit /etc/profile  生效命令：source /etc/profile

export JAVA_HOME=/home/lee/jdk1.7.0

export HADOOP_HOME=/home/lee/hadoop-2.4.1

export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_HOME/sbin

四.Hadoop的配置

接着是配置Hadoop了

对每一个节点 不管是主节点，还是数据节点，都得装hadoop,并且一样即可

对于hadoop/etc/hadoop下的文件的配置

1.core-site.xml

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9000</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/lee/hadoop2.4.1/tmp</value>

    <description>Abase for other temporary directories.</description>

</property>

</configuration>

2.对于hadoop-env.sh  一定要配置JDK目录

export JAVA_HOME=/home/lee/jdk1.7.0

3.对于hdfs-site.xml

<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>master:50090</value>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/lee/hadoop2.4.1/tmp/dfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/lee/hadoop2.4.1/tmp/dfs/data</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

这里的dfs/name是给master用的，以及一定要自己手动去建立，否则一定会无法启动datanode 

这里的dfs/data是给node节点用的

dfs.replication的值根据node子节点（数据节点）的数目而定

4.mapred-site.xml配置， 要先copy一份模版

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

5.yarn-site.xml配置

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>master</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

 

6.出错了要查看日志

hadoop/logs

2015-08-02 01:03:15,909 INFO org.mortbay.log: Stopped SelectChannelConnector@0.0.0.0:50070

2015-08-02 01:03:15,909 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...

2015-08-02 01:03:15,910 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.

2015-08-02 01:03:15,910 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.

2015-08-02 01:03:15,910 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join

java.io.IOException: NameNode is not formatted.

at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:212)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:891)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:638)

at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:503)

at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:559)

at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:724)

at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:708)

at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1358)

at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1424)

2015-08-02 01:03:15,911 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1

2015-08-02 01:03:15,912 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at master/192.168.25.128

如这个提示， NameNode is not formatted. 名字节点没有格式化

使用Hadoop用户，切换到hadoop/bin目录下

格式化分布式文件系统./hadoop namenode -format

 

 

 

 

转载于:https://www.cnblogs.com/sailing-egg/p/4678825.html