Hadoop 环境搭建 全集 超详细, 新手必看

本文提供了一步一步的超详细教程,教你如何在Linux环境下搭建Hadoop集群,包括安装JDK和Tomcat,配置集群网络,设置免密码登录,安装和配置Hadoop,直至在Windows下运行MapReduce程序。适合新手入门。
摘要由CSDN通过智能技术生成

总论, 实验环境


说在前面: 该文章只为记录此次实验总结, 方便以后, 并加深记忆, 超级基础.

  • Linux版本: CentOS 7
  • hadoop版本: hadoop-2.7.5
  • 虚拟机: VMware + xshell
  • 集群环境:
    主机名称 IP地址 备注
    hadoop01 192.168.192.128 master
    hadoop02 192.168.192.129 slave
    hadoop03 192.168.192.130 slave
  • hadoop各结点:
    hadoop01 hadoop02 hadoop03
    NameNode SecondaryNameNode
    DataNode DataNode DataNode
    NodeManager NodeManager NodeManager
    JobHistoryServer
    ResourceManager
  • 文件下载地址:

    Win10 hadoop环境变量: hadoop-2.7.5-master:
    hadoop.dll: 此文件复制到C盘 Windows/System32 下面: hadoop.dll
    hadoop-2.7.5: hadoop-2.7.5
    我的hadoop配置文件 hadoop/etc/*: etc

  • 使用用户 root, hadoop

1. jdk与tomcat安装


1.1. jdk 安装

  1. 实验目的: 在VMware 上安装 jdk 8

  2. 实验步骤:
    方法一

    1. 一步安装及配置 jdk (仅适用于CentOS)

        yum install java-1.8.0-openjdk* -y
      

      截图:
      安装截图
      结果测试:
      在这里插入图片描述

    2. 配置环境变量:
      yum 安装位置: /usr/lib/jvm/java
      在 /etc/profile 中添加:

       #set java environment  
       export JAVA_HOME=/usr/lib/jvm/java
       export	CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
       export PATH=$PATH:$JAVA_HOME/bin
      
    3. 使profile生效

      sources /etc/profile

    4. 结果:
      在这里插入图片描述

    方法二

    1. 下载jdk压缩包到 /usr/local/src目录
    2. 解压到 /usr/local/java下面
    3. 配置环境变量

1.2 tomcat 安装 (与jdk安装大致相同)

  1. 解压下载的tomcat到目录下

     tar -xvf [文件名] -C /usr/local
    

  2. 给 tomcat 更名, 把长名字改成 tomcat

    在这里插入图片描述

  3. 修改tomcat环境变量

     Tomcat是需要jdk才能运行,上面解压安装后,还需要在tomcat里配置jdk的目录.
    

    修改tomcat环境变量有三种方法:
    第一种:定义在全局里;如果装有多个JDK的话,定义全局会冲突,不建议

     [root@Tomcat ~]# vim /etc/profile
    

    第二种:写用户家目录下的环境变量文件.bash_profile
    第三种:是定义在单个tomcat的启动和关闭程序里,建议使用这种

     [root@Tomcat ~]# vim /usr/local/tomcat/bin/startup.sh                  --tomcat的启动程序
     [root@Tomcat ~]# vim /usr/local/tomcat/bin/shutdown.sh             --tomcat的关闭程
    

    把startup.sh和shutdown.sh这两个脚本里的最前面加上下面一段:

     # export JAVA_HOME=/usr/local/java
     export TOMCAT_HOME=/usr/local/tomcat
     export CATALINA_HOME=/usr/local/tomcat
     # export CLASS_PATH=$JAVA_HOME/bin/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tool.jar
     export PATH=$PATH:/usr/local/java/bin:/usr/local/tomcat/bin
    
  4. 启动tomcat
    在这里插入图片描述

  5. Windows查看是否启动成功
    windows浏览器下直接输入地址

如上, tomcat 与jdk配置完毕, 当然你还可以配置tomct环境变量

2. 集群环境的配置


2.1 概述

该实验在VMware下, 配置hadoop集群, 包括主要是进行 网络配置, 使集群间可通信.

主机名称 IP地址 备注
hadoop01 192.168.192.128 master
hadoop02 192.168.192.129 slave
hadoop03 192.168.192.130 slave

2.2 网络配置 (该步骤一般在安装虚拟机时已经完成)

  1. 全局网络设置
    将以下所框的地方的ip改成如下即 192.168.192.* , 或者你想设置的子网网络.
    在这里插入图片描述

  2. 修改机器IP地址:

     修改配置文件
     # vi /etc/sysconfig/network-scripts/ifcfg-ens33
    

    在这里插入图片描述
    其中 IPADDR 为该机器对应的ip地址

    更新网络配置 查看结果

     # service network restart
    

    在这里插入图片描述
    在这里插入图片描述

2.3 虚拟机克隆

  1. 在你需要克隆的机器上右键 ->管理->克隆; 克隆出两台机器构成集群
    在这里插入图片描述
  2. 如图所示:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

2.4 克隆虚拟机上配置网络(在克隆的两台机器上重复以下操作)

  1. 重新生成 MAC地址, 因为mac地址为机器唯一标识的硬件地址 不可重复;
    在这里插入图片描述
    在这里插入图片描述

  2. 修改 网络配置文件的 ipaddr
    在这里插入图片描述

     使配置生效
     # service network restart
    
  3. 设置主机名 然后重启:
    在这里插入图片描述

  4. 设置hosts (即ip地址对应的主机名)
    hosts文件由3部分组成, 空格分开

     [ 网络IP地址 ] [ 主机名或域名 ] [ 主机名别名 ]
    

在这里插入图片描述在这里插入图片描述

2.5 结果检验:

# ping hadoop02
# ping hadoop03
# ping baidu.com

能 ping 通

如上, 三台机器的hadoop集群环境搭建成功.

3. 设置免密码登陆


3.1 概述

该实验, 主要为了之后使用方便;
但是, 我在第一次没有设置免密登陆时, 启动hadoop集群输入密码会出现异常, 所以又重新设置了免密登陆~ 就不用输入密码啦

3.2 创建hadoop用户 (在每台机器上重复该操作)

  1. 创建 hadoop 用户
    在这里插入图片描述

  2. 修改用户 hadoop 的权限

    用户权限修改在 /etc/sudoers 下面配置, 将 hadoop 的权限修改最高
    在这里插入图片描述
    在这里插入图片描述

  3. 切换到 hadoop
    在这里插入图片描述

3.3 免密码登陆设置 (在每台机器上重复该操作, 只需两步)

  1. 生成公钥

    ssh-keygen -t rsa
    注意, 在此期间输入的密码直接回车, 不然就是 有密登陆了…
    在这里插入图片描述

  2. 将公钥拷贝到每台机器

    ssh-copy-id hadoop@hadoop02
    ssh-copy-id hadoop@hadoop03
    在这里插入图片描述

  3. 登陆测试
    在这里插入图片描述

4. hadoop安装与配置


4.1 概述

前置环境:

    <
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值