Hadoop 环境搭建 全集 超详细, 新手必看

总论, 实验环境

---

说在前面: 该文章只为记录此次实验总结, 方便以后, 并加深记忆, 超级基础.

• Linux版本: CentOS 7
• hadoop版本: hadoop-2.7.5
• 虚拟机: VMware + xshell
• 集群环境:

  主机名称	IP地址	备注
  hadoop01	192.168.192.128	master
  hadoop02	192.168.192.129	slave
  hadoop03	192.168.192.130	slave

• hadoop各结点:

  hadoop01	hadoop02	hadoop03
  NameNode		SecondaryNameNode
  DataNode	DataNode	DataNode
  NodeManager	NodeManager	NodeManager
  		JobHistoryServer
  	ResourceManager

• 文件下载地址:

  Win10 hadoop环境变量: hadoop-2.7.5-master:
  hadoop.dll: 此文件复制到C盘 Windows/System32 下面: hadoop.dll
  hadoop-2.7.5: hadoop-2.7.5
  我的hadoop配置文件 hadoop/etc/*: etc

• 使用用户 root, hadoop
  
  

1. jdk与tomcat安装

---

1.1. jdk 安装

1. 实验目的: 在VMware 上安装 jdk 8

2. 实验步骤:
   方法一

   1. 一步安装及配置 jdk (仅适用于CentOS)

        yum install java-1.8.0-openjdk* -y
      

      截图:
      
      结果测试:
      

   2. 配置环境变量:
      yum 安装位置: /usr/lib/jvm/java
      在 /etc/profile 中添加:

       #set java environment  
       export JAVA_HOME=/usr/lib/jvm/java
       export	CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
       export PATH=$PATH:$JAVA_HOME/bin
      

   3. 使profile生效

      sources /etc/profile

   4. 结果:
      

   方法二

   1. 下载jdk压缩包到 /usr/local/src目录
   2. 解压到 /usr/local/java下面
   3. 配置环境变量

1.2 tomcat 安装 (与jdk安装大致相同)

1. 解压下载的tomcat到目录下

    tar -xvf [文件名] -C /usr/local
   

   

2. 给 tomcat 更名, 把长名字改成 tomcat

   

3. 修改tomcat环境变量

    Tomcat是需要jdk才能运行，上面解压安装后，还需要在tomcat里配置jdk的目录.
   

   修改tomcat环境变量有三种方法：
   第一种：定义在全局里；如果装有多个JDK的话，定义全局会冲突，不建议

    [root@Tomcat ~]# vim /etc/profile
   

   第二种：写用户家目录下的环境变量文件.bash_profile
   第三种：是定义在单个tomcat的启动和关闭程序里，建议使用这种

    [root@Tomcat ~]# vim /usr/local/tomcat/bin/startup.sh                  --tomcat的启动程序
    [root@Tomcat ~]# vim /usr/local/tomcat/bin/shutdown.sh             --tomcat的关闭程
   

   把startup.sh和shutdown.sh这两个脚本里的最前面加上下面一段：

    # export JAVA_HOME=/usr/local/java
    export TOMCAT_HOME=/usr/local/tomcat
    export CATALINA_HOME=/usr/local/tomcat
    # export CLASS_PATH=$JAVA_HOME/bin/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tool.jar
    export PATH=$PATH:/usr/local/java/bin:/usr/local/tomcat/bin
   

4. 启动tomcat
   

5. Windows查看是否启动成功
   

如上, tomcat 与jdk配置完毕, 当然你还可以配置tomct环境变量

2. 集群环境的配置

---

2.1 概述

该实验在VMware下, 配置hadoop集群, 包括主要是进行 网络配置, 使集群间可通信.

主机名称	IP地址	备注
hadoop01	192.168.192.128	master
hadoop02	192.168.192.129	slave
hadoop03	192.168.192.130	slave

2.2 网络配置 (该步骤一般在安装虚拟机时已经完成)

1. 全局网络设置
   将以下所框的地方的ip改成如下即 192.168.192.* , 或者你想设置的子网网络.
   

2. 修改机器IP地址:

    修改配置文件
    # vi /etc/sysconfig/network-scripts/ifcfg-ens33
   

   
   其中 IPADDR 为该机器对应的ip地址
   

   更新网络配置 查看结果

    # service network restart
   

   
   

2.3 虚拟机克隆

1. 在你需要克隆的机器上右键 ->管理->克隆; 克隆出两台机器构成集群
   
2. 如图所示:
   
   
   
   
   

2.4 克隆虚拟机上配置网络(在克隆的两台机器上重复以下操作)

1. 重新生成 MAC地址, 因为mac地址为机器唯一标识的硬件地址 不可重复;
   
   

2. 修改 网络配置文件的 ipaddr
   

    使配置生效
    # service network restart
   

3. 设置主机名 然后重启:
   

4. 设置hosts (即ip地址对应的主机名)
   hosts文件由3部分组成, 空格分开

    [ 网络IP地址 ] [ 主机名或域名 ] [ 主机名别名 ]
   

2.5 结果检验:

# ping hadoop02
# ping hadoop03
# ping baidu.com

能 ping 通

如上, 三台机器的hadoop集群环境搭建成功.

3. 设置免密码登陆

---

3.1 概述

该实验, 主要为了之后使用方便;
但是, 我在第一次没有设置免密登陆时, 启动hadoop集群输入密码会出现异常, 所以又重新设置了免密登陆~ 就不用输入密码啦

3.2 创建hadoop用户 (在每台机器上重复该操作)

1. 创建 hadoop 用户
   

2. 修改用户 hadoop 的权限

   用户权限修改在 /etc/sudoers 下面配置, 将 hadoop 的权限修改最高
   
   

3. 切换到 hadoop
   

3.3 免密码登陆设置 (在每台机器上重复该操作, 只需两步)

1. 生成公钥

   ssh-keygen -t rsa
   注意, 在此期间输入的密码直接回车, 不然就是 有密登陆了…
   

2. 将公钥拷贝到每台机器

   ssh-copy-id hadoop@hadoop02
   ssh-copy-id hadoop@hadoop03
   

3. 登陆测试
   

4. hadoop安装与配置

---

4.1 概述

前置环境:

<