【手把手配置】Hadoop集群--虚拟机模拟完全分布式模式

最新推荐文章于 2023-08-15 10:49:14 发布
最新推荐文章于 2023-08-15 10:49:14 发布
阅读量1k 收藏 7
点赞数 4
分类专栏： Hadoop 文章标签： hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alexander_zimo/article/details/128127977
版权

Hadoop运行环境搭建

模板虚拟机环境准备
  1. VMware安装
    • 快速安装
  2. CentOS配置
    • 虚拟机配置（硬件）
      在这里插入图片描述在这里插入图片描述
      在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 查看自己电脑的CPU核数
    在这里插入图片描述

为何采用2+2+2+2的配置呢？

首先是有3个hadoop虚拟机组成集群，故配置3*2；同时要考虑Windows实际运行的内容，再配置个2；下面配置内存，同理。

在这里插入图片描述
在这里插入图片描述
选择IO控制器
磁盘类型
在这里插入图片描述
在这里插入图片描述
指定磁盘存放位置
硬件配置汇总

  • 系统安装（软件）
    插入光驱
    开启虚拟机
    安装CentOS7
    配置

    • 日期和时间
      日期和时间

    • 软件选择
      软件选择

      • 安装位置

安装位置
手动配置分区

  • KDUMP

       ![KDUMP](https://img-blog.csdnimg.cn/img_convert/757eb5eca9f4dfe134ccaf3816a47871.png)

    • 网络和主机名

      网络和主机名

    • 安全协议

      安全协议
      在这里插入图片描述

    开始安装，安装期间设置root用户密码
    设置root用户

    安装完成后，重启虚拟机，进入引导界面，基本勾选“前进”，即可；同时要创建一个普通用户

    接受许可证

    在这里插入图片描述

  • 网络配置

    1. 虚拟机的网络配置

      虚拟机的网络配置
      NAT模式配置

    2. 实体机的网络配置（以win10为例）

      实体机网络配置
      VM8配置
      Internet4配置

    3. CentOS的网络IP修改

      root用户下运行

      vim /etc/sysconfig/network-scripts/ifcfg-ens33

      编辑内容如下：

      TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

      修改前先按“i”，进入编辑模式；修改后按“ESC”键后输入“:wq”以退出并保存

      效果如下：

      CentOSIP配置

      重启网络服务

      systemctl restart network

      查看当前IP

      ifconfig

    查询IP

    保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

    1. 修改主机名和hosts文件

      修改主机名称，为hadoop100

      vim /etc/hostname

      配置Linux克隆机主机名称映射hosts文件

      vim /etc/hosts

      内容如下：

      192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

      重启虚拟机

      reboot

  • 修改windows的主机映射文件(hosts文件)

    进入C:\Windows\System32\drivers\etc

    将hosts文件拷贝到桌面

    打开hosts文件添加如下内容：

    192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

    将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

  1. 远程终端工具Xshell和Xftp配置

    • Xshell安装

      xshell免费版

    • 以Xshell配置hadoop100为例

      1. 创建新链接
        Xshell新建链接

      2. 编辑新链接

        编辑新链接
        在这里插入图片描述
        在这里插入图片描述

      3. 连接完成
        连接完成

    • 配置Xftp，不再赘述

  2. hadoop100虚拟机配置

    • 检查是否正常上网

      ping www.baidu.com

      测试下虚拟机联网情况

    • 安装epel-release

      yum install -y epel-release

      • Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

      • 如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作：

        yum install -y net-tools
yum install -y vim

    • 关闭防火墙和防火墙开机自启

      # 关闭防火墙
systemctl stop firewalld
# 关闭防火墙开机自启
systemctl disable firewalld.service

      在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

    • 创建普通用户，并设置密码

      useradd userName
passwd userName

      输入两次用户密码

    • 为普通用户配置root权限

      vim /etc/sudoers

      # 在%wheel这行下面添加一行

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
userName   ALL=(ALL)     NOPASSWD:ALL

    • 创建相关文件夹

      # 在/opt目录下创建module和software文件夹
mkdir /opt/module
mkdir /opt/software
# 修改module和software文件夹的所有者和所属组为普通用户
chown userName:userName /opt/module 
chown userName:userName /opt/software
# 查看文件夹所有者和所属组
cd /opt/
ll

    • 卸载虚拟机自带的JDK

      rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

      如果你的虚拟机是最小化安装不需要执行这一步

    • 重启虚拟机

      reboot
  3. 克隆虚拟机

    • 以模板hadoop100，克隆三台虚拟机（克隆时先关闭hadoop100）

      克隆
      开始克隆
      克隆自
      完整克隆

      克隆机命名

      克隆完成

    • 修改克隆的虚拟机IP（与上面操作基本一样）

      NAT模式
      NAT配置

      修改IP文件

      vim /etc/sysconfig/network-scripts/ifcfg-ens33

      内容如下

      DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

      保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

    • 修改克隆的主机名（与上面操作基本一样）

      # 修改主机名称
vim /etc/hostname
# 修改为：
hadoop102
# 配置Linux克隆机主机名称映射hosts
vim /etc/hosts
# 内容如下：
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

    • 重启克隆机

      reboot

    • 修改windows的主机映射文件(hosts文件)

      进入C:\Windows\System32\drivers\etc

      将hosts文件拷贝到桌面

      打开hosts文件添加如下内容：

      192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

      将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

  4. 为hadoop102安装JDK（以hadoop102为例）

    1. 卸载已有JDK

      安装JDK前，一定确保提前删除了虚拟机自带的JDK

    2. 上传下载好的JDK

      利用Xftp将JDK导入到opt目录下的software文件夹下

      上传JDK

      下载地址：jdk-8u212-linux-x64.tar.gz百度网盘 提取码：cbw4

    3. 检查是否上传成功并解压

      检查是否上传成功

      ls /opt/software/
# 结果如下：
jdk-8u212-linux-x64.tar.gz

      解压到指定目录下

      1.  tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

    4. 配置JDK环境变量

      sudo vim /etc/profile.d/my_env.sh

      内容如下：

      #JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

      source一下/etc/profile文件，让新的环境变量PATH生效

      source /etc/profile

    5. 测试JDK是否安装成功

      java
# 或查看Java版本
java -version
  5. 为hadoop102安装Hadoop

    1. 将下载好的hadoop上传到/opt/software文件夹下

      上传Hadoop

      Hadoop下载地址：hadoop-3.1.3

    2. 解压安装文件到/opt/module

      # 进入对应目录
cd /opt/software/
# 解压到对应目录
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
# 查看是否解压成功
ls /opt/module/

    3. 为Hadoop配置环境变量

      sudo vim /etc/profile.d/my_env.sh

      内容如下：

      #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

      source一下/etc/profile文件，让新的环境变量PATH生效

      source /etc/profile

    4. 测试是否安装成功

      hadoop
# 或查看hadoop版本
hadoop version

      查看Hadoop目录结构

      [user@hadoop102 hadoop-3.1.3]$  ll

# 内容如下：
总用量 52
drwxr-xr-x. 2 user user  4096 5月  22 2017 bin
drwxr-xr-x. 3 user user  4096 5月  22 2017 etc
drwxr-xr-x. 2 user user  4096 5月  22 2017 include
drwxr-xr-x. 3 user user  4096 5月  22 2017 lib
drwxr-xr-x. 2 user user  4096 5月  22 2017 libexec
-rw-r--r--. 1 user user 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 user user   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 user user  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 user user  4096 5月  22 2017 sbin
drwxr-xr-x. 4 user user  4096 5月  22 2017 share

      bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本

      etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

      lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

      sbin目录：存放启动或停止Hadoop相关服务的脚本

      share目录：存放Hadoop的依赖jar包、文档、和官方案例

本地运行模式

  1. 在hadoop文件夹下创建wcinput文件夹

    mkdir wcinput

  2. 在wcinput文件夹下创建并编辑word.txt文件

    # 进入wcinput文件夹
cd wcinput
# 编辑word.txt
vim word.txt

# 内容如下：
hadoop yarn
hadoop mapreduce
user
user

  3. 回到Hadoop目录，即/opt/module/hadoop

    cd /opt/module/hadoop

  4. 执行程序

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  5. 查看结果

    cat wcoutput/part-r-00000

# 结果如下：
user 2
hadoop  2
mapreduce       1
yarn    1
完全分布式模式

  • 上述配置模板虚拟机完成，进行以下操作：

    1. 准备工作

      • 分发jdk到集群中各机器

        修改两个目录的组别

        sudo chown userName:userName -R /opt/module
sudo chown userName:userName -R /opt/software

        将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103和hadoop104上

        scp -r /opt/module/jdk1.8.0_212  user@hadoop103:/opt/module
scp -r /opt/module/jdk1.8.0_212  user@hadoop104:/opt/module

      • 同步hadoop到集群中各机器

        将hadoop102中/opt/module/hadoop-3.1.3目录同步到hadoop103和hadoop104上

        rsync -av hadoop-3.1.3/ userName@hadoop103:/opt/module/hadoop-3.1.3/
rsync -av hadoop-3.1.3/ userName@hadoop104:/opt/module/hadoop-3.1.3/

      • 编写xsync脚本分发集群

        在/home/userName/bin目录下创建xsync文件

        [userName@hadoop102 opt]$  cd /home/userName
[userName@hadoop102 ~]$  mkdir bin
[userName@hadoop102 ~]$  cd bin
[userName@hadoop102 bin]$  vim xsync

        在该文件中编写如下代码：

        #!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

        修改脚本 xsync 具有执行权限

        [userName@hadoop102 bin]$  chmod +x xsync

        测试脚本

        [userName@hadoop102 ~]$  xsync /home/userName/bin

        将脚本复制到/bin中，以便全局调用

        [userName@hadoop102 bin]$  sudo cp xsync /bin/

        同步环境变量配置（root所有者）

        [userName@hadoop102 ~]$  sudo ./bin/xsync /etc/profile.d/my_env.sh

        使环境变量在集群中其他机器生效

        [userName@hadoop103 bin]$  source /etc/profile
[userName@hadoop104 bin]$  source /etc/profile

      • 配置无密钥登录

        生成公钥和私钥

        [userName@hadoop102 ~]$  cd ~/.ssh
[userName@hadoop102 .ssh]$  ssh-keygen -t rsa

        将公钥拷贝到要免密登录的目标机器上

        [userName@hadoop102 .ssh]$  ssh-copy-id hadoop102
[userName@hadoop102 .ssh]$  ssh-copy-id hadoop103
[userName@hadoop102 .ssh]$  ssh-copy-id hadoop104

        还需要在hadoop103上采用user账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

        还需要在hadoop104上采用user账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

        与上述操作一致（即，重复①生成公钥和私钥和②将公钥拷贝到要免密登录的目标机器上两步）

    2. 配置集群

      集群部署规划

      hadoop102hadoop103hadoop104
      HDFSNameNode
      DataNode      		DataNodeSecondaryNameNode
      DataNode
      YARNNodeManagerResourceManager
      NodeManager      		NodeManager

      Ø NameNode和SecondaryNameNode不要安装在同一台服务器

      Ø ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

      默认配置文件：

      要获取的默认文件文件存放在Hadoop的jar包中的位置
      [core-default.xml]hadoop-common-3.1.3.jar/core-default.xml
      [hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default.xml
      [yarn-default.xml]hadoop-yarn-common-3.1.3.jar/yarn-default.xml
      [mapred-default.xml]hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

      配置集群

      • 核心配置文件

        [userName@hadoop102 ~]$  cd $HADOOP_HOME/etc/hadoop
[userName@hadoop102 hadoop]$  vim core-site.xml

        <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为userName -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>userName</value>
    </property>
</configuration>

      • HDFS配置文件

        [userName@hadoop102 hadoop]$  vim hdfs-site.xml

        <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

      • YARN配置文件

        [userName@hadoop102 hadoop]$  vim yarn-site.xml

        <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
       <value>
           JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
       </value>
    </property>
</configuration>

      • MapReduce配置文件

        [userName@hadoop102 hadoop]$  vim mapred-site.xml

        <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

      在集群上分发配置好的Hadoop配置文件

      [userName@hadoop102 hadoop]$  xsync /opt/module/hadoop-3.1.3/etc/hadoop/

      在103和104上查看文件分发情况

      [userName@hadoop103 ~]$  cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[userName@hadoop104 ~]$  cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

    3. 群起并测试集群

      配置workers

      1. 进入workers

        [userName@hadoop102 hadoop]$  vim /opt/module/hadoop3.1.3/etc/hadoop/workers

      2. 修改为以下内容：

        hadoop102
hadoop103
hadoop104

        即将该文件中localhost的内容修改为上述内容，并要求结尾不允许有空格，文件中不允许有空行

      3. 同步集群所有机器配置文件

        [userName@hadoop102 hadoop]$  xsync /opt/module/hadoop-3.1.3/etc

      启动集群

      1. 如果集群是第一次启动，需要在hadoop102节点格式化NameNode

        [userName@hadoop102 hadoop-3.1.3]$  hdfs namenode -format

        格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

      2. 启动HDFS

        [userName@hadoop102 hadoop-3.1.3]$  sbin/start-dfs.sh

        去集群中各台机器中输入jps，查看对应结点与配置规则HDFS是否一致

      3. 在配置了ResourceManager的节点（hadoop103）启动YARN

        [userName@hadoop103 hadoop-3.1.3]$  sbin/start-yarn.sh

        去集群中各台机器中输入jps，查看对应结点与配置规则YARN是否一致

      4. Web端查看HDFS的NameNode

        （a）浏览器中输入：http://hadoop102:9870

        （b）查看HDFS上存储的数据信息

      5. Web端查看YARN的ResourceManager

        （a）浏览器中输入：http://hadoop103:8088

        （b）查看YARN上运行的Job信息

      集群基本测试

      • 上传文件到集群

        [userName@hadoop102 ~]$  hadoop fs -mkdir /input
[userName@hadoop102 ~]$  hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

      • 执行wordcount程序

        [userName@hadoop102 hadoop-3.1.3]$  hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

    • 优化配置内容

      • 配置历史服务器

        1. 配置mapred-site.xml

          vim mapred-site.xml

          增加如下配置：

          <configuration>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
</configuration>

        2. 分发配置

          [userName@hadoop102 hadoop]$  xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

        3. 在hadoop102启动历史服务器

          [userName@hadoop102 hadoop]$  mapred --daemon start historyserver

        4. 查看历史服务器是否启动

          [userName@hadoop102 hadoop]$  jps

      • 配置日志的聚集

        1. 配置yarn-site.xml

          [userName@hadoop102 hadoop]$  vim yarn-site.xml

          增加如下配置

          <configuration>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

        2. 分发配置

          [userName@hadoop102 hadoop]$  xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

        3. 关闭NodeManager 、ResourceManager和HistoryServer

          [userName@hadoop103 hadoop-3.1.3]$  sbin/stop-yarn.sh
[userName@hadoop103 hadoop-3.1.3]$  mapred --daemon stop historyserver

        4. 启动NodeManager 、ResourceManager和HistoryServer

          [userName@hadoop103 ~]$  start-yarn.sh
[userName@hadoop102 ~]$  mapred --daemon start historyserver

        5. 删除HDFS上已经存在的输出文件

          [userName@hadoop102 ~]$  hadoop fs -rm -r /output

        6. 执行WordCount程序

          [userName@hadoop102 hadoop-3.1.3]$  hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

        7. 查看日志

          历史服务器

      • 集群启动/停止方式总结

        各个模块分开启动停止

        • 整体启动/停止HDFS

          start-dfs.sh/stop-dfs.sh

        • 整体启动/停止YARN

          start-yarn.sh/stop-yarn.sh

        各个服务组件逐一启动停止

        • 分别启动/停止HDFS组件

          hdfs --daemon start / stop namenode/datanode/secondarynamenode

        • 分别启动/停止YARN组件

          yarn --daemon start / stop  resourcemanager/nodemanager

      • 编写Hadoop集群常用脚本

        • Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）

          [userName@hadoop102 ~]$  cd /home/userName/bin
[userName@hadoop102 bin]$  vim myhadoop.sh

          #!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

          [userName@hadoop102 bin]$  chmod +x myhadoop.sh

          [userName@hadoop102 ~]$ xsync /home/userName/bin/

        • 查看三台服务器Java进程脚本

          [userName@hadoop102 ~]$  cd /home/userName/bin
[userName@hadoop102 bin]$  vim jpsall

          #!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

          [userName@hadoop102 bin]$  chmod +x jpsall

          [userName@hadoop102 ~]$  xsync /home/userName/bin/
Alexander_Zimo
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop虚拟机集群安装
04-07
Hadoop安装-保你一次成功，文档看过了感觉还不错。
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
11-18
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程 按照文档中的操作步骤，一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
云存储-Hadoop集群-免密登录实验
03-01
一.实验目的： 1.安装VMware Workstation Pro，应用相关操作 2.在虚拟机中安装Linux Centos7.4 3.静态网络地址的配置，所有主机的网络能够正常使用，相互能够正常连接 4.完成主机名的配置，正确设定永久有效的主机名 二、实验环境： 1.五台独立虚拟机 2.每台虚拟机内存2G以上，磁盘50G 3.安装Centos 7.4_64操作系统 三、五台虚拟机IP 主机名 IP地址 Cluster-01 192.168.106.11 Cluster-02 192.168.106.12 Cluster-03 192.168.106.13 Cluster-04 192.168.106.14 Cluster-05 192.168.106.15
Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置 - Reverse - 博客频道 - CSDN1
08-03
摘要视图订阅登录 | 注册225240次第4693名156篇13篇0篇71条切换到hadoop用户，执行以下命令：01.ssh生成密钥有rsa和dsa两种生成方
Hadoop第02天-03.完全分布式-搭建.avi
01-21
Hadoop第02天-03.完全分布式-搭建.avi！！
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 8799
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
虚拟机安装配置Hadoop（图文教程）
在人间负债^
09-03 9998
启动镜像 Init1.0检查是否安装 Hdoop 和 jdk。
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
qq_52833759的博客
01-08 2963
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程 一、搭建准备； 二、环境搭建； 三、群起集群；
Hadoop单节点配置、虚拟机集群配置
weixin_48314976的博客
01-07 1524
Ubuntu 20.04/Hadoop3.2/JDK8/Hadoop单节点配置/Hadoop集群配置/超级详细，本人自己的配置流程。
Hadoop--海量文件的分布式计算处理方案
01-31
Hadoop 是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划部署。 2. 准备机器。 3. 准备软件环境：配置静态 IP；修改主机名；编辑域名映射；安装和配置 Java；安装和 配置 SSH 免密登录。 4. 获取和安装 Hadoop。 5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop集群搭建-完全分布式
01-07
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境相关脚本）core-site.xml（hadoop核心配置）hdfs-site.xml（分布式文件系统HDFS相关配置）mapred-site.xml（MapReduce相关配置）yarn-site.xml（Yarn相关配置）slaves文件（里面写从节点所在的主机名，会在这些主机上启动DataNode）关于配置文件7. 将Hadoop
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这是一台主机的配置，其他另外两台要一摸一样配置群起集群1. 配置slaves2. 启动集群测试是否启动成功集群启动/停止方式组件分别启动停止整体启动需要注意后面的内容配置，会逐渐写出来！！！ 搭建简单的Hadoop完全分布式模式 分析 最少准备多台客户机（Zookeeper至少需要三台） 安装jdk 安装Hadoop 配置环境变量 单点启动 配置ss
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群
06-26
文档为本人亲自编写，由于能力有限，如发现错误，欢迎批评指正。同时，欢迎有安装过程中有问题的小伙伴们一起交流学习。
Hadoop完全分布式-准备工作-虚拟机克隆.avi
01-21
Hadoop.完全分布式-准备工作-虚拟机克隆！！
hadoop虚拟机搭建步骤
qq_51014165的博客
08-15 988
将jdk和hadoop的安装包分别放到虚拟机指定目录（放在哪里都可以，可以复制，最好是放在hadoop的家目录或者自己定义的目录，后续设置环境变量时要用），三个都要做同样的操作。在用户设置界面设置root账号密码和普通用户账号及密码，为了方便后续操作，三个虚拟机root账号密码均设置为root，普通用户用户名均为hadoop，密码也为hadoop。将java安装包复制到指定目录（可以是任何地方，教材上在用户的家目录，也可以自己制定，比如在usr目录中新建一个目录等，都可以）
2.Hadoop环境配置之虚拟机安装配置
shield911的博客
09-14 1万+
虚拟机下载安装配置和克隆
Hadoop运行环境搭建（巨详细）——虚拟机配置
tong_0512的博客
08-30 1110
这里写自定义目录标题一、创建虚拟机二、虚拟网络配置功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一、创建虚拟机 虚拟...
hadoop-3.3.3完全分布式集群搭建
最新发布
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中。 3. 搭建hadoop集群：关闭防火墙，修改主机名，添加IP映射，配置免密登录。 4. 修改hadoop配置文件：解压hadoop，配置hadoop环境变量，修改hadoop的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers。 5. 分发文件：将配置好的hadoop文件分发到集群中的所有节点。 6. 格式化namenode：使用hadoop命令行工具格式化namenode。 7. 启动Hadoop集群并测试：启动hadoop集群，可以通过查看进程、访问web界面和运行官方案例WordCount来测试集群的运行情况。 通过以上步骤，就可以成功搭建hadoop-3.3.3的完全分布式集群。请根据实际需求和操作系统进行相应的调整和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值