Hadoop完全分布式安装

原创 2016年05月06日 20:50:21

本文主要讲解Hadoop完全分布式的搭建,使用vm建立三个相同配置的主机进行搭建。本文讲解所有详细步骤希望对大家有用。

全部软件下载百度云链接:失效请评论告诉我密码:io9r

1.准备工作

    1.1软硬件环境

  • 主机操作系统:处理器:i5,主频:3.2G,内存:8G,Windows64
  • 虚拟机软件:VMware Workstation 10
  • 虚拟操作系统:CentOs-6.5 64位
  • JDk:1.8.0_65 64位
  • Hadoop:1.2.1

    1.2集群网络环境

集群包括3个节点,1个Namenode、2个Datanode,其中节点之间可以相互ping通。节点IP地址和主机名如下:


序号

IP地址

机器名

类型

用户名

1

192.168.1.127

Master.Hadoop

Namenode

Hadoop

2

192.168.1.128

Slave1.Hadoop

Datanode

Hadoop

3

192.168.1.129

Slave2.Hadoop

Datanode

Hadoop


所有节点均是CentOS系统,防火墙均禁用,所有节点上均创建了一个Hadoop用户,用户主目录是/home/Hadoop。所有节点上均创建了一个目录/usr/hadoop,并且拥有者是hadoop用户。因为该目录用于安装hadoop,用户对其必须有rwx权限。(一般做法是root用户下在/usr下创建hadoop目录,并修改该目录拥有者为hadoop(chown –R Hadoop: /usr/hadoop),否则通过SSH往其他机器分发Hadoop文件会出现权限不足的提示。

    1.3注意

由于Hadoop要求所有机器上Hadoop的部署目录结构要求相同(因为在启动时按与主节点相同的目录启动其它任务节点),并且都有一个相同的用户名账户。参考各种文档上说的是所有机器都建立一个hadoop用户,使用这个账户来实现无密码认证。这里为了方便,分别在三台机器上都重新建立一个hadoop用户。

    2.环境搭建

      2.1操作系统安装

对于Datanode类型的系统,可以先安装一个系统,然后利用VMWare的克隆功能,克隆多个相同的系统。如下图所示。




VMWare下安装CentOs系统的教程直接在网上找。特别注意的是:所有系统的网络选择为桥接模式,并且由于本机是在无线网络上进行上网的,故还要设置VMnet0的信息:在编辑->虚拟网络编辑器···如下图:

桥接网络是指本地物理网卡和虚拟网卡通过VMnet0虚拟交换机进行桥接,物理网卡和虚拟网卡在拓扑图上处于同等地位,那么物理网卡和虚拟网卡就相当于处于同一个网段,虚拟交换机就相当于一台现实网络中的交换机,所以两个网卡的IP地址也要设置为同一网段。


在”桥接到”那一栏里选择所用的网卡类型。

    2.2本地环境配置

    (1)网络配置

采用桥接来连接网络(适合有路由、交换机用户),配置静态IP来实现上网,局域网内通信。

vim /etc/sysconfig/network-scripts/ifcfg-eth0


DEVICE=eth0 #描述网卡对应的设备别名

BOOTPROTO=static #设置网卡获得ip地址的方式,为static

HWADDR=”00:23:54:DE:01:69”

ONBOOT=”yes” #系统启动时是否设置此网络接口,设置为yes

TYPE=”Ethernet”

USERCTL=no

IPV6INIT=no

PEERDNS=yes

NETMASK=255.255.255.0 #网卡对应的网络掩码

IPADDR=192.168.1.127 #只有网卡设置成static时,才需要此字段

GATEWAY=192.168.1.1 #设置为路由器地址,一般都是这个

DNS1=202.112.17.33 #设置为本网络对应的,或者8.8.8.8 #google域名服务器


本次操作的配置图如下所示:




(可以直接在Master机上设置好,然后通过scp命令将该文件传递给所有的Slave,然后在Slave中修改相应的IPADDR即可,其它不变)

注意:这里需要注意还要改一个东西,因为scp过去的硬件地址是一样的必须修改下:

第一:修改vim /etc//etc/udev/rules.d/ 70-persistent-net.rules

将其中的名为eth0的网卡删掉。同时将eth1的网卡名修改为eth0

第二:修改vim /etc/sysconfig/network-scripts/ifcfg-eth0

HWADDR修改为刚刚看见的eth1的地址。


    (2)配置hosts文件

“/etc/hosts”这个文件是用来配置主机将用的DNS服务器信息,是记载LAN内接续的各主机的对应[HostName IP]用的。当用户在进行网络连接时,首先查找该文件,寻找对应主机名对应的IP地址。

在进行Hadoop集群配置中,需要在”/etc/hosts”文件中添加集群中所有机器的IP与主机名,这样Master与所有的Slave机器之间不仅可以通过IP进行通信,而且还可以通过主机名进行通信。

所以在所有的机器上的”/etc/hosts”文件中都要添加如下内容:

192.168.1.127 Master.Hadoop

192.168.1.128 Slave1.Hadoop

192.168.1.129 Slave2.Hadoop



(同样,可以直接在Master机上设置好,然后通过scp命令将该文件传递给所有的Slave)

    2.3操作系统设置

在Hadoop安装过程中需要关闭防火墙和SElinux,否则会出现异常。

    (1)关闭防火墙
  • service iptables status 查看防火墙状态,如下所示表示iptables已经开启:


  • 关闭防火墙:chkconfig iptables off
    (2)关闭SElinux
  • 使用getenforce命令查看是否关闭
  • 修改/etc/selinux/config 文件



注意:修改后要重启系统,才能有效。

    2.4SSH无密码验证配置

准备工作:

1. 在三个虚拟机上设定Hadoop用户:

adduser Hadoop #在root用户下

passwd Hadoop #输入两次密码

2. 在Hadoop用户下建立.ssh文件夹

mkdir ~/.ssh

Hadoop运行过程中需要管理远端Hadoop守护进程,在Hadoop启动以后,NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式,故我们需要配置SSH运用无密码公钥认证的形式,这样NameNode使用SSH无密码登录并启动DataName进程,同样原理,DataNode上也能使用SSH无密码登录到 NameNode。

SSH之所以能够保证安全,原因在于它采用了公钥加密。过程如下:

(1)远程主机收到用户的登录请求,把自己的公钥发给用户。

(2)用户使用这个公钥,将登录密码加密后,发送回来。

(3)远程主机用自己的私钥,解密登录密码,如果密码正确,就同意用户登录。


注意:如果你的Linux没有安装SSH,请首先安装SSH。


    3.配置Master无密码登录所有Salve


    (1)在Master节点上执行以下命令:

ssh-keygen –t rsa –P ”




运行后询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa(私钥)和id_rsa.pub(公钥),默认存储在”/home/用户名/.ssh”目录下。


查看“/home/用户名/”下是否有“.ssh”文件夹,且“.ssh”文件下是否有两个刚生产的无密码密钥对。


    (2)接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys




查看”.ssh”文件夹:



查看下authorized_keys的权限。(很重要!)

如果权限不对则利用如下命令设置该文件的权限:


chmod 700 ~/.ssh #注意:这两条权限设置特别重要,决定成败。

chmod 600 ~/.ssh/authorized_keys


在Master机器上输入:ssh localhost 命令测试一下,看是否能无密码登录自己。


    (3)将公钥发给Slave

在Master中将公钥id_rsa.pub通过scp命令发到每一个Slave的同一个地方(即/home/Hadoop/.ssh文件夹下),并且设置权限(非常重要)

scp ~/.ssh/authorized_keys Hadoop@Slave1.Hadoop:~/.ssh/

scp ~/.ssh/authorized_keys Hadoop@Slave2.Hadoop:~/.ssh/


在Slave中设置权限(root用户下设置):

chown –R Hadoop:Hadoop /home/Hadoop/.ssh

chmod –R 700 /home/Hadoop/.ssh

chmod 600 /home/Hadoop/.ssh/authorized_keys

    (4)测试

在Master下输入:

ssh Slave1.Hadoop

若不用密码则表示成功!


重点:设置好权限!!!

    3.软件安装及环境配置

以下的软件安装先在Master上安装,全部安装完后,再通过复制到Slave中即可。

    3.1Java安装及其环境配置

所有的机器上都要安装JDK,并且版本要一样。现在就先在Master服务器安装,然后把安装好的文件传递给Slave即可。安装JDK以及配置环境变量,需要以”root”的身份进行。

    (1)首先用root身份登录”Master.Hadoop”后在”/usr”下创建”java”文件夹,再将”jdk-8u25-linux-x64. gz”复制到”/usr/java”文件夹中,然后解压即可。

    tar -zxvf jdk-8u25-linux-x64. gz


查看”/usr/java”下面会发现多了一个名为”jdk1.8.0_65”文件夹,说明我们的JDK安装结束,删除安装包即可,进入下一个”配置环境变量”环节。

    (2)配置环境变量。编辑”/etc/profile”文件,在后面添加Java的”JAVA_HOME”、”CLASSPATH”以及”PATH”内容如下:

    # set java environment

    export JAVA_HOME=/usr/java/ jdk1.8.0_65/

    export JRE_HOME=/usr/java/ jdk1.8.0_65/jre

export CLASSPATH=.:JAVAHOME/lib:JRE_HOME/lib:$CLASSPATH

export PATH=JAVAHOME/bin:PATH

如下图所示:



保存并退出,执行下面命令使其配置立即生效。

source /etc/profile 或 . /etc/profile

重点说明:PATH变量要先把$JAVA_HOME放在第一位置,这样新安装的JDK能作为第一选择,否则,系统还是以原来的JDK为选择。

    (3)验证

java –version


    3.2Hadoop安装及其环境配置

    (1)首先用root用户登录”Master.Hadoop”机器,将下载的”hadoop-1.2.1.tar.gz”复制到/usr目录下。然后进入”/usr”目录下,用下面命令把”hadoop-1.1.2.tar.gz”进行解压,并将其重命名为”hadoop”,把该文件夹的读权限分配给普通用户hadoop,然后删除”hadoop-1.2.1.tar.gz”安装包。

    cd /usr

    tar –xzvf hadoop-1.2.1.tar.gz

    mv hadoop-1.2.1 hadoop

    chown –R hadoop:hadoop hadoop

    rm -rf hadoop-1.2.1.tar.gz


    (2)把Hadoop的安装路径添加到”/etc/profile”中。

    # set hadoop path

    export HADOOP_HOME=/usr/hadoop

    export PATH=PATH:HADOOP_HOME/bin


    (3)配置hadoop-env.sh,并确认生效

该”hadoop-env.sh”文件位于”/usr/hadoop/conf”目录下。

在文件中修改下面内容:

export JAVA_HOME=/usr/java/ jdk1.8.0_65/

(此处的JAVA_HOME跟之前Java中环境配置的一样)


source hadoop-env.sh

hadoop version




    (4)在/usr/hadoop目录下创建子目录

cd /usr/hadoop

mkdir tmp

mkdir hdfs


    (5)配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS master(即namenode)的地址和端口号。

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

(备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹)

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.1.127:9000</value>

</property>

</configuration>



    (6)配置hdfs-site.xml文件

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/hdfs/data</value>

</property>

</configuration>




    (7)配置mapred-site.xml文件

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。


<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.1.127:9001</value&gt;

</property>

</configuration>




    (8)配置masters文件

有两种方案:


(1)第一种

修改localhost为Master.Hadoop

(2)第二种

去掉”localhost”,加入Master机器的IP:192.168.1.127

为保险起见,启用第二种,因为万一忘记配置”/etc/hosts”局域网的DNS失效,这样就会出现意想不到的错误,但是一旦IP配对,网络畅通,就能通过IP找到相应主机。

vim /usr/hadoop/conf/masters




    (9)配置slaves文件(Master主机特有)

    与配置masters文件类似:

    vim /usr/hadoop/conf/slaves



    3.3Slave服务器上的文件安装及配置

在Master上装完JDK以及Hadoop以及配置好环境后,进行下步工作:

    (1)将/usr/java文件夹复制到其他Slave


    在Master中输入:

scp –r /usr/java root@Slave1.Hadoop :/usr/

scp –r /usr/java root@Slave2.Hadoop :/usr/


    (2)将/etc/profile复制到其他Slave


    在Master中输入:

    scp /etc/profile root@Slave1.Hadoop :/etc/

    scp /etc/profile root@Slave2.Hadoop :/etc/


    (3)将/usr/hadoop文件夹复制到其他Slave


    在Master中输入:

    scp –r /usr/hadoop root@Slave1.Hadoop :/usr/

    scp –r /usr/hadoop root@Slave2.Hadoop :/usr/


    (4)改变权限

    将/usr/java,/usr/hadoop的用户组改为Hadoop用户,设置权限为755。

      至此环境搭建完毕

      4.启动及验证

        4.1启动

    (1)格式化HDFS文件系统

在”Master.Hadoop”上使用普通用户hadoop进行操作。(备注:只需一次,下次启动不再需要格式化,只需 start-all.sh)

hadoop namenode –format


    (2)启动hadoop

在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。使用下面命令启动。

start-all.sh


    (3)关闭hadoop

    stop-all.sh

      4.2验证测试

    (1)用”jps”命令测试

在Master上用 java自带的小工具jps查看进程。


在Slave1上用 java自带的小工具jps查看进程。


注:上两幅图表示成功!


    (2)用”hadoop dfsadmin -report”查看集群状态



    (3)通过网页查看集群

访问JobTracker:http://192.168.1.127:50030



访问NameNode:http://192.168.1.127:50070


    5.所遇到的问题及解决方法

      5.1关于 Warning: $HADOOP_HOME is deprecated.

hadoop安装完之后敲入hadoop命令时,老是提示这个警告:

Warning: $HADOOP_HOME is deprecated.

解决方案一:编辑”/etc/profile”文件,去掉HADOOP_HOME的变量设定,重新输入hadoop fs命令,警告消失。

解决方案二:编辑”/etc/profile”文件,添加一个环境变量,之后警告消失:

export HADOOP_HOME_WARN_SUPPRESS=1

    5.2SSH设置不成功

很有可能是因为权限设置的不对!

    5.3Datanode连接不上

有可能是Master和Slave的防火墙没有关掉。


本章介绍到这里
来自伊豚(wpeace.cn)
版权声明:本文为博主原创文章,转载请注明站点:blog.wpeace.cn

Hadoop2.6.2完全分布式集群HA模式安装配置详解

一、机器配置清单(8节点) hadoop100 节点:NameNode、DFSZKFailoverController(ZKFC) hadoop101 节点:NameNode、DFSZKFailo...
  • ltliyue
  • ltliyue
  • 2016年04月13日 16:15
  • 4268

hadoop学习之hadoop完全分布式集群安装

注:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流。转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461  ...
  • ab198604
  • ab198604
  • 2012年12月03日 10:52
  • 113481

Hadoop集群完全分布式搭建教程-CentOS

本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建,所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。 1. 说明        本教程中电脑为8G内存,故而...
  • u012909091
  • u012909091
  • 2015年12月27日 18:03
  • 3999

hadoop学习之hadoop2.8.0完全分布式集群安装

转载自:http://blog.csdn.net/peace1213/article/details/51334508 本文主要讲解Hadoop完全分布式的搭建,使用vm建立三个相同配置的...
  • Happy_wu
  • Happy_wu
  • 2017年04月19日 14:28
  • 11608

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
  • dream_an
  • dream_an
  • 2016年10月27日 16:12
  • 18757

Hadoop完全分布式集群安装及配置(基于虚拟机)

写在前面因为之前Hadoop伪分布式的安装(参见:Hadoop安装以及伪分布模式搭建过程)是在VirtualBox上安装了Ubuntu虚拟机,所以这次在开始的时候也是在VirtualBox上安装了3个...
  • quiet_girl
  • quiet_girl
  • 2017年07月04日 21:20
  • 923

HDFS完全分布式安装

【步骤】 • 下载 • 解压 • 检查java环境和ssh的免密码登陆 • 修改core-site.xml • 修改hdfs-site.xml • 修改masters...
  • chenweijiSun
  • chenweijiSun
  • 2017年05月02日 23:53
  • 444

Hadoop yarn完全分布式安装笔记

版本及配置简洁 Java:   JDK1.7.0_71 Hadoop: hadoop-2.5.2 Linux:  centos6.4 64bit 暂且配置3台机器,假设三台机器IP如下...
  • va_key
  • va_key
  • 2014年12月18日 16:55
  • 950

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
  • dream_an
  • dream_an
  • 2016年10月27日 16:12
  • 18757

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

写在前边的话:        最近找了一个云计算开发实习生的工作,本以为来了会直接做一些敲代码,处理数据的活,没想到师父给了我一个课题“基于质量数据的大数据分析”,NameNode问题来了首先要做的就...
  • Gamer_gyt
  • Gamer_gyt
  • 2016年07月25日 15:57
  • 12279
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop完全分布式安装
举报原因:
原因补充:

(最多只允许输入30个字)