基于Hadoop3.13完全分布式运行模式环境安装部署

最新推荐文章于 2022-11-21 02:01:59 发布
最新推荐文章于 2022-11-21 02:01:59 发布
阅读量670 收藏 5
点赞数 1
分类专栏： Hadoop 文章标签： hadoop 大数据 linux centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BigData2018/article/details/105720372
版权

目录

一、前置条件

Hadoop本地运行模式的运行依赖 JDK，Hadoop需要预先安装，安装步骤见：

二、集群环境

从搭好的虚拟机hadoop102克隆出hadoop103和hadoop104

  1. 修改主机名

    #hadoop103和hadoop104机子上分别更改主机名为 hadoop103 hadoop104
sudo vim /etc/hostname

  2. 分别更改其它两台不同虚拟机静态IP(按照自己机器的网络设置进行修改)

    sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

    #在hadoop103上更改ifcfg-ens33里的内容为：
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.117.103
PREFIX=24
GATEWAY=192.168.117.2
DNS1=192.168.117.2
DNS2=8.8.8.8

    #在hadoop104上更改ifcfg-ens33里的内容为：
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.117.104
PREFIX=24
GATEWAY=192.168.117.2
DNS1=192.168.117.2
DNS2=8.8.8.8

三、Hadoop集群环境配置

1.集群部署

  • NameNode和SecondaryNameNode不要安装在同一台服务器

  • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

hadoop102hadoop103hadoop104
HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNode
YARNNodeManagerResourceManager NodeManagerNodeManager

2. 配置：core-site.xml

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.nogc.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.nogc.groups</name>
        <value>*</value>
    </property>
</configuration>

3. 配置：hdfs-site.xml

vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>
    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>
    <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
  </property>
</configuration>

4. 配置：yarn-site.xml

vim yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

5. 配置：mapred-site.xml

vim mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

6. 集群上分发配置好的hadoop

xsync /opt/module/hadoop-3.1.3

四、集群单点启动

  1. 如果集群是第一次启动，需要格式化NameNode

    hdfs namenode -format

  2. 在hadoop102上启动NameNode

    hdfs --daemon start namenode

  3. 在hadoop102、hadoop103以及hadoop104上执行如下命令（三台都要执行）

    hdfs --daemon start datanode
  • 用jps命令可查看启动情况

五、SSH无密登录配置

  1. 在hadoop102上生成公钥和私钥

    ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  2. 将公钥拷贝到要免密登录的目标机器上

    ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
  • 分别在hadoop103、hadoop104上执行相同操作
  • root账号和nogc账号各执行一轮

六、群起集群

  1. 配置workers（注hadoop2版本没有workers，而是salves）

    vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

    #注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行
hadoop102
hadoop103
hadoop104

    同步所有节点配置文件

    xsync  workers

  2. 启动集群

    1. 如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

      #集群是第一次启动格式化NameNode
hdfs namenode -format

    2. 启动HDFS

      sbin/start-dfs.sh

    3. 在配置了ResourceManager的节点（hadoop103）启动YARN

      sbin/start-yarn.sh

  3. 集群基本测试

    1. 上传文件到集群

      #上传小文件
hadoop fs -mkdir -p /user/nogc/input
hadoop fs -put $HADOOP_HOME/wcinput/wc.input /user/nogc/input

      #上传大文件
hadoop fs -put  /opt/software/hadoop-3.1.3.tar.gz  /

    2. 上传文件后查看文件存放在什么位置

      #查看HDFS文件存储路径
[nogc@hadoop102 subdir0]$ pwd

      /opt/module/hadoop-3.1.3/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

      #查看HDFS在磁盘存储文件内容
[nogc@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
nogc
nogc

    3. 拼接

    -rw-rw-r--. 1 nogc nogc 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 nogc nogc   1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 nogc nogc  63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 nogc nogc    495635 5月  23 16:01 blk_1073741837_1013.meta
[nogc@hadoop102 subdir0]$ cat blk_1073741836>>tmp.jar
[nogc@hadoop102 subdir0]$ cat blk_1073741837>>tmp.jar
[nogc@hadoop102 subdir0]$ tar -zxvf tmp.jar

    1. 下载

      [nogc@hadoop102 hadoop-3.1.3]$ bin/hadoop fs -get
 /hadoop-3.1.3.tar.gz ./

    2. 执行wordcount程序

      [nogc@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/nogc/input /user/nogc/output

七、集群启动与停止方式

  1. 分别单个启动/停止HDFS组件

    hdfs --daemon start/stop namenode/datanode/secondarynamenode

  2. 分别单个启动/停止YARN

    yarn --daemon start/stop  resourcemanager/nodemanager

  • 集体启动/停止（配置ssh是前提）常用方式

  • 整体启动/停止HDFS

    start-dfs.sh/stop-dfs.sh

  • 整体启动/停止YARN

    start-yarn.sh/stop-yarn.sh

八、配置历史服务器

  1. 配置mapred-site.xml

    vi mapred-site.xml

    #在该文件里面增加如下配置
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

  2. 分发配置

    xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

  3. 在hadoop102启动历史服务器

    mapred --daemon start historyserver

  4. 查看历史服务器是否启动

    jps

  5. 查看JobHistory

    http://hadoop102:19888/jobhistory

九、配置日志的聚集

  • 日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

  • 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

  • 注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

  1. 配置yarn-site.xml

    vim yarn-site.xml

    #在该文件里面增加如下配置
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<property>  
	<name>yarn.log.server.url</name>          		 <value>http://hadoop102:19888/jobhistory/logs</value>  
</property>
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

  2. 分发配置

    xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

  3. 关闭NodeManager 、ResourceManager和HistoryServer

    在103上执行： stop-yarn.sh
在102上执行： mapred --daemon stop historyserver

  4. 启动NodeManager 、ResourceManager和HistoryServer

    在103上执行：start-yarn.sh
在102上执行：mapred --daemon start historyserver

  5. 删除HDFS上已经存在的输出文件

    hdfs dfs -rm -R /user/nogc/output

  6. 执行WordCount程序

    hadoop jar  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/nogc/input /user/nogc/output

  7. 查看日志

    http://hadoop102:19888/jobhistory

十、集群时间同步

  1. 时间服务器配置（必须root用户）

    在所有节点关闭ntp服务和自启动

    sudo systemctl stop ntpd
sudo systemctl disable ntpd

  2. 修改ntp配置文件

    vim /etc/ntp.conf

    a、修改（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）

    #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap//改为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

    #b、修改（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst  //改为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

    #c、添加（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

    #3、修改/etc/sysconfig/ntpd 文件
vim /etc/sysconfig/ntpd

    #增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes

    #4、重新启动ntpd服务
systemctl start ntpd

    #5、设置ntpd服务开机启动
systemctl enable ntpd
专注大数据
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop3.1配置
10-15
hadoop3.1 core-site.xml 、hdfs-site.xml 、mapred-site.xml、yarn-site.xml的配置，亲测可用
hadoop3.1环境搭建
04-14
hadoop3.1支持GPU,Linux, Windows, 了不起的系统 也是最新的技术， 看项目网站更全面：http://hadoop.apache.org/docs/current/index.html
Hadoop平台实验报告
热门推荐
xwdreamer的专栏
06-10 1万+
1. 前言 通过基于MapReduce云计算平台的海量数据处理实验，我们了解了Hadoop的基本架构，已经如何编写MapReduce程序，本实验中我主要使用到的两个程序分别是WordCount（词频统计）和InvertedIndex（反向索引）。在将这两个程序之前，我会介绍我对Hadoop的理解。 2. Hadoop简介及特性 2.1. Hadoop分布式文件系统（HDFS） Hadoop
Hadoop3.3.0完全分布式集群搭建详细教程
m0_46698362的博客
03-29 8567
Hadoop3.3.0完全分布式集群搭建 前言 从零开始学习hadoop，记录成长过程，也是为了集群崩了还能搭好。话不多说，我们开始干活了！ 环境： 虚拟机：VMware15 Linux系统：centos7 需要提前准备好的安装包： 1.centos7镜像文件 2.VMware安装包 3.hadoop3.3.0和jdk1.8压缩包 4.远程访问工具xshell和xftp 接下来面对疾风吧 一、VMware安装 一直点击下一步就可以了，如果c盘不够，可以选择更改安装位置。 密钥可以去网上搜 安装完成
大数据——Hadoop3.1.3安装与配置
m0_67265464的博客
08-28 688
若解压报错：win->search winrar->右键以管理员方式启动->选择压缩包解压至目标路径。#3、将windutils.exe拷贝至windows hadoop313/bin。#5、配置windows环境下linux中hostname和ip地址映射。#4、迁移lunix hadoop至windows配置环境变量。20.0.0.1 主机名。...
四 Hadoop运行模式之完全分布式运行模式
01-07
文章目录1.... 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh,mapred-env.sh)4.4 HDFS配置文件(hdfs-site.xml)4.4.1 Ha
hadoop的伪分布式模式配置与安装伪分布式模式
最新发布
11-26
以下将详细介绍如何在Linux环境中配置和安装Hadoop的伪分布式模式。 首先，确保你有一台运行Linux的服务器或虚拟机，本文以Linux 2.6.32-358.el6.x86_64为例。你需要安装JDK，这里选用的是jdk-7u7-linux-i586.tar....
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop2.8.1完全分布式环境搭建过程
08-25
本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群），并通过Hadoop分布式计算的一个示例测试集群的正确性。对hadoop分布式环境搭建过程感兴趣的朋友跟随小编...
基于Centos7.6和Hadoop3.13环境下安装Hive3.12
BigData2018的博客
04-25 1018
目录一、前置环境二、Hive地址三、Hive安装部署四、Hive元数据配置到MySql五、安装Tez引擎六、启动Hive一、初始化元数据库二、启动metastore和hiveserver2七、HiveJDBC访问八、Hive访问 一、前置环境 Centos7.6下MySql-5.7.28安装 Centos7.6下Hadoop-3.13安装 二、Hive地址 1.Hive官网地址 http://hi...
Hadoop-HDFS（十三） Hadoop 3.x 新特性( 了解)
奥迪的博客
01-19 403
13 Hadoop 3.x 新特性( 了解) 1、将默认的最低 jdk 从 7 升级到 8 2、纠删码可以将 3 倍副本占据的空间压缩到 1.5 倍，并保持 3 倍副本的容错。由于在读取数据的时候需要进行额外的计算，用于存储使用不频繁的数据 3、通过扩展 YARN 的资源类型，支持 CPU 和内存之外的其他资源，如 GPU、FPGA、软件许可证、本地存储等。 4、重写了 hadoop 中的 shell 脚本，修复了很多长期存在的 bug 并添加了新特性。有一些改进兼容老版本，有一些不兼容。 5、.
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
大胆刁民的博客
03-16 1万+
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
Hadoop集群搭建教程(hadoop-3.1.3手把手教学)超详细！！！
weixin_44168795的博客
06-24 1882
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、集群机器的准备1、关闭防火墙2、配置静态 IP3、主机名称二、配置SSH无密登录1、以192.168.29.151为例2、安装配置jdk和hadoop3、文件复制三、hadoop的集群配置1、集群的配置介绍2、4个xml文件的配置3、配置workers四、启动集群1、NameNode初始化2、启动 HDFS、YARN3、验证是否成功启动4、有可能的出错总结 前言 本文是基于hadoop-3.1.3搭建的集群，集群规模是5台
Hadoop 3.x 详细安装步骤
spark_tang的博客
04-28 2995
## 写在前面 如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 [三天入门大数据实操课程](https://www.bilibili.com/video/BV1De411x72P) 在本地搭建集群环境，在这个视频课程中你需要学习的章节是： - 课程目标 - VMWare WorkStation 安装 - 创建虚拟机 - 安装 Centos 7 操作系统 - Ce...
大数据hadoop3.1.3——Hadoop HA高可用学习笔记（安装与配置）
caron的博客
05-07 1935
一、HA概述 1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障SPOF（Single Points Of Failure）。 4）NameNode主要在以下两个方面影响HD...
Hadoop集群搭建安装教程（详细完整）
zhang_232的专栏
11-21 2885
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。
Hadoop 3.1.3 详细安装教程
fwdwqdwq的博客
08-16 1631
1）如果集群是第一次启动，需要在hadoop001节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）在配置了ResourceManager的节点（hadoop002）启动YARN。（3) 修改window的主机映射文件（hosts文件）（2）配置主机名称映射，打开/etc/hosts。配置yarn-site.xml。...
配置hadoop环境
awyo96572的博客
12-04 350
配置hadoop环境 1.安装java环境，具体参照博客 2.创建hadoop用户 2.1 输入如下命令创建新用户 ,这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。 sudo useradd -m hadoop...
Hadoop2.7.6完全分布式集群安装教程
"本文档是关于Hadoop初学者的入门教程，详细讲述了如何在Linux环境中安装配置Hadoop2.7.6的完全分布式集群。" 在本文中，我们将深入探讨Hadoop平台的安装过程，这对于想要涉足大数据处理领域的初学者至关重要。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值