00 Hadoop2.6.4分布式计算环境的搭建 LINUX环境

工具

 VMware-workstation-10.0.1注册机

 CentOS-6.5-x86_64-bin-DVD1

 jdk-7u79-linux-x64

 hadoop-2.6.4.tar

所需知识

linux命令基础了解

新建虚拟机

解压VMware-workstation-10.0.1注册机,打开VMware Workstation主页,点击新建虚拟机,选择典型,如下:

点击下一步,选择安装程序光盘映像文件,浏览找到你下载CentOS-6.5-x86_64-bin-DVD1的压缩包文件,如下:

 

继续点击下一步,填写用户名和密码(尽量简单),填好后点击下一步,为即将创建的虚拟机命名并选择安装路径(最好不要安装在C盘),如下所示:

继续点击下一步至如下界面:

点击自定义硬件可以修改虚拟机的各项参数,如果电脑内存小于等于4GB,需要将内存改至512MB,否则严重卡顿。修改完成后点击完成，虚拟机就创建成功，打开后界面如下：

若要批量创建虚拟机，可以在创建好的虚拟机的基础上进行克隆操作，打开一个虚拟机，右键单击桌面选择Open in Terminal，进入编辑界面：

安装Jdk

1.假设用户名是wxx(获取root权限)

(1)使wxx成为sudoer

       su                                切换用户到root

       cd /etc

       vi sudoers

   i  进入编辑状态

   在root ALL=(ALL) ALL的下一行编辑

      wxx  ALL=(ALL) ALL

   按ESC键

   按Shift + :

   输入wq!

 

(2)创建hadoop文件夹

cd

mkdir  hadoop

 

将jdk-7u79-linux-x64安装包复制到hadoop文件目录下（与windows环境下类似）。

(3)解压jdk-7u79-linux-x64.gz文件

cd

cd  hadoop

tar  -zxvf  jdk-7u79-linux-x64.gz

 

(4)设置jdk环境变量

cd

cd  hadoop

su

gedit  /etc/profile

 

进入后在最后一行添加以下指令：

export JAVA_HOME=/home/wxx/hadoop/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

点击保存后关闭，输入以下指令使jdk生效：

source  /etc/profile

 

(5)检查jdk是否安装成功

java  -version

成功后显示如下信息：

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

 

 

创建集群

1.克隆虚拟机

将已经安装好jdk的虚拟机克隆两个，创建三个虚拟机的集群。

2.修改后hostname

su

vi  /etc/sysconfig/network

 

将三个虚拟机分别命名master、slave1、slave2

如图：(完成后重启虚拟机reboot)

3.将三个虚拟机的ip地址相互连接

首先必须确保虚拟机联网，如果NET模式连不上网，则选中桥接模式。

网络通畅后执行以下操作:

(1)分别对三个虚拟机执行指令ifconfig，查看各虚拟机ip地址

(2)在master中执行以下指令

su

cd  /etc

gedit  /etc/hosts

进入编辑界面后按“IP地址   hostname”填写信息，如图：

填写完后按Save按钮，关闭编辑页。

(3)将配置好的文件复制到slave1、slave2中

在master中执行以下指令：

scp  /etc/hosts  root@slave1:/etc/

scp  /etc/hosts  root@slave2:/etc/

 

(4)检查各虚拟机是否互联

在master中执行以下指令：

ping  slave1

ping  slave2

连通后显示如下：

 

配置无线登录密钥

(1)关闭防火墙

对每个虚拟机进行如下操作：

su

chkconfig  iptables  off

1) 重启后生效 
开启： chkconfig iptables on 
关闭： chkconfig iptables off 

2) 即时生效，重启后失效 
开启： service iptables start 
关闭： service iptables stop 

执行后重启虚拟机： reboot

(2)关闭防火墙后在master下执行以下指令：

解释参考

点击打开链接

cd

ssh-keygen  –t  rsa

cd  .ssh

cat  id_rsa.pub  >> authorized_keys

chmod  600  authorized_keys

scp  authorized_keys  wxx@slave1:~/.ssh/

scp  authorized_keys  wxx@slave2:~/.ssh/

(3)检查无密钥登录是否成功

ssh  slave1

ssh  slave2

ssh  master

成功后显示如下：

若未连网，则

安装并配置hadoop-2.6.4(在master中)

(1)将hadoop-2.6.4.tar.gz安装包复制到hadoop文件目录下（与windows环境下类似）。

(2)解压hadoop-2.6.4.tar.gz

cd

cd  hadoop

tar  -zxvf  hadoop-2.6.4.tar.gz

(3)配置hadoop-2.6.4的各项文件

cd

cd  hadoop/hadoop-2.6.4

cd  etc/hadoop

gedit  hadoop-env.sh     

在最后一行添加:export JAVA_HOME=/home/wxx/hadoop/jdk1.7.0_79

gedit  core-site.xml

添加代码：

<property>

       <name>fs.default.name</name>

       <value>hdfs://master:9000</value>

       <final>true</final>

   </property>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>/home/wxx/hadoop/tmp</value>

   </property>

   <property>

       <name>ds.default.name</name>

       <value>hdfs://master:54310</value>

       <final>true</final>

</property>

 

gedit  hdfs-site.xml

添加代码：

<property>

   <name>dfs.namenode.name.dir</name>

   <value>file:/home/wxx/hadoop/dfs/name</value>

   <final>true</final>

</property>

<property>

   <name>dfs.datanode.data.dir</name>

   <value>file:/home/wxx/hadoop/dfs/data</value>

   <final>true</final>

</property>

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

 

gedit  mapred-site.xml

（注意：必须先复制mapred-site.xml.template文件更名为mapred-site.xml）

添加代码：

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

</property>

 

gedit  yarn-site.xml

添加代码：

<property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

</property>

<property>

      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property> 

<property>

   <name>yarn.resourcemanager.hostname</name>

   <value>master</value>

</property>

<property>

    <name>yarn.resourcemanager.address</name>

    <value>master:8032</value>

</property>

<property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>master:8030</value>

</property>

<property>

   <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>master:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

   <value>master:8033</value>

</property>

<property>

   <name>yarn.resourcemanager.webapp.address</name>

   <value>master:8088</value>

</property>

gedit  master

添加代码：

master

 

gedit  slaves

添加代码：

master

slave1

slave2

 

(4)将配置好的文件复制到slave1、slave2中

cd

cd  hadoop

scp  -r  hadoop-2.6.4  slave1:~/hadoop

scp  -r  hadoop-2.6.4  slave2:~/hadoop

 

(5)启动集群

cd

cd  hadoop/hadoop-2.6.4

bin/hdfs  namenode  -format      //格式化namenode，只要格式化一次，后续启动不需要，格式多次导致datanode无法启动解决方案

sbin/start-dfs.sh

sbin/start-yarn.sh

sbin/hadoop-daemon.sh  start  secondarynamenode

 

(6)检查集群情况

jps

 

（7）后续关闭与启动

命令操作

cd

cd  hadoop/hadoop-2.6.4

sbin/start-dfs.sh

sbin/start-yarn.sh

sbin/hadoop-daemon.sh  start  secondarynamenode

图文操作

启动文件hadoop-2.6.4/sbin/start-all.sh

停止文件hadoop.2.6.4/sbin/stop-all.sh

单独启动datanode   

sbin/hadoop-daemon.sh  start  secondarynamenode