Hadoop3.1.3完全分布式环境搭建

最新推荐文章于 2024-03-22 21:40:34 发布
最新推荐文章于 2024-03-22 21:40:34 发布
阅读量746 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YongDaiMe/article/details/106149983
版权

文章目录

1. 虚拟机环境准备

  1. 首先要准备一台虚拟机，CentOS7操作系统，最小化安装，新建用户myHadoop，IP地址是102，记得关闭防火墙，学习阶段容易忘可以禁用（更多细节不在此说明）。
  2. 安装可能需要依赖，避免后期有些命令无法使用。
    sudo yum install -y epel-release
sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop

2. 安装JDK

  1. 解压
    tar -zxvf jdk-8u212-linux-x64.tar.gz   # 需要记住解压路径
  2. 配置环境变量
    根据profile文件注释，系统不建议我更改此文件，因此根据文档要求我在 /etc/proprofile.d 目录下新建自定义系统文件my_env.sh
    # 这段代码是profile文件的注释
# It's NOT a good idea to change this file unless you know what you
# are doing. It's much better to create a custom.sh shell script in
# /etc/profile.d/ to make custom changes to your environment, as this
# will prevent the need for merging in future updates.

    [myHadoop@hadoop102 profile.d]$ sudo vim my_env.sh 
# JAVA
JAVA_HOME=/opt/module/jdk1.8.0_212		# 将解压路径填入
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME
  3. 刷新环境配置文件并验证
    [myHadoop@hadoop102 profile.d]$ source /etc/profile
[myHadoop@hadoop102 ~]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

3. hadoop环境安装

  1. 解压，步骤与Java类似；

  2. 配置环境变量

    # 修改文件别忘了 sudo
# JAVA
JAVA_HOME=/opt/module/jdk1.8.0_212
PATH=$PATH:$JAVA_HOME/bin

# Hadoop
HADOOP_HOME=/opt/module/hadoop-3.1.3
PATH=$PATH:$HADOOP_HOME/bin
PATH=$PATH:$HADOOP_HOME/sbin

export PATH JAVA_HOME HADOOP_HOME

  3. 刷新配置文件并验证

    [myHadoop@hadoop102 profile.d]$ source /etc/profile
[myHadoop@hadoop102 ~]$ hadoop version
Hadoop 3.1.3

  4. 修改集群配置文件（所有配置文件都在 /安装路径/hadoop/etc/hadoop目录下 ）
    - hadoop-env.sh

    export JAVA_HOME=/opt/module/jdk1.8.0_212

     
    - core-site.xml

     <!-- 指定NameNode的地址 -->
 <property>
 	<name>fs.defaultFS</name>
 	<value>hdfs://hadoop102:9820</value>
 </property>

 <!-- 指定hadoop数据的存储目录
 <property>
 	<name>hadoop.data.dir</name>
 	<value>/opt/module/hadoop-3.1.3/data</value>
 </property>

     
    - hdfs-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 <!-- 指定NameNode数据的存储目录 -->
 <!-- 本地文件路径已经在core-site.xml文件中配置过 -->
 <property>
 	<name>dfs.namenode.name.dir</name>
 	<value>file://${hadoop.data.dir}/name</value>
 </property>

 <!-- 指定Datanode数据的存储目录 -->
 <property>
 	<name>dfs.datanode.data.dir</name>
 	<value>file://${hadoop.data.dir}/data</value>
 </property>

 <!-- 指定SecondaryNameNode数据的存储目录 -->
 <property>
 	<name>dfs.namenode.checkpoint.dir</name>
 	<value>file://${hadoop.data.dir}/namesecondary</value>
 </property>

 <!-- nn web端访问地址-->
 <property>
 	<name>dfs.namenode.http-address</name>
 	<value>hadoop102:9870</value>
 </property>

 <!-- 2nn web端访问地址-->
 <property>
 	<name>dfs.namenode.secondary.http-address</name>
 	<value>hadoop104:9868</value>
 </property>
</configuration>

     
    - yarn-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
  	<name>yarn.nodemanager.aux-services</name>
  	<value>mapreduce_shuffle</value>
  </property>

  <!-- 指定ResourceManager的地址-->
  <property>
  	<name>yarn.resourcemanager.hostname</name>
  	<value>hadoop103</value>
  </property>

  <!-- 环境变量的继承 -->
  <property>
  	<name>yarn.nodemanager.env-whitelist</name>
  	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>

  <!-- 日志聚集功能 -->
  <property>
  	<name>yarn.log-aggregation-enable</name>
  	<value>true</value>
  </property>

  <property>  
  	<name>yarn.log.server.url</name>  
  	<value>http://hadoop102:19888/jobhistory/logs</value>  
  </property> 

  <!-- 日志保存时间 -->
  <property>
  	<name>yarn.log-aggregation.retain-seconds</name>
  	<value>604800</value>
  </property>
</configuration>

     
    - mapred-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!—指定MapReduce程序运行在Yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop102:10020</value>
	</property>

	<!-- 历史服务器web端地址 -->
	<property>
    	<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop102:19888</value>
	</property>
</configuration>

     
    - Workers，将集群内所有主机名添加

    hadoop102
hadoop103 
hadoop104

  5. 关闭虚拟机，克隆。将新克隆的虚拟机打开，修改IP地址和主机名。

  6. 配置SSH免密登录。启动三台虚拟机，在每台虚拟机上都要做如下操作：

    [myHadoop@hadoop102 ~]$ cd ~/.ssh/ # 若没有.ssh目录，先输入 ssh hadoop102 生成该目录
[myHadoop@hadoop102 .ssh]$ ssh-keygen -t rsa # 敲四下回车生成密钥对
[myHadoop@hadoop102 .ssh]$ ssh-copy-id hadoop102 # 将密钥对发给集群内所有节点，包括自己
[myHadoop@hadoop102 .ssh]$ ssh-copy-id hadoop103
[myHadoop@hadoop102 .ssh]$ ssh-copy-id hadoop104

  7. 在主节点hadoop102上格式化集群

    [myHadoop@hadoop102 hadoop-3.1.3]$ ./bin/hdfs namenode -format

    successfully formatted
    出现该语句即格式化成功！

  8. 启动集群
    在NameNode主节点hadoop102启动hdfs服务，在ResourceManager主节点hadoop103上启动yarn服务。

    [myHadoop@hadoop102 hadoop-3.1.3]$ start-dfs.sh	# 注意节点不同
[myHadoop@hadoop103 hadoop-3.1.3]$ start-yarn.sh # 注意节点不同

  9. 使用Java命令查看进程

    [myHadoop@hadoop102 hadoop-3.1.3]$ jps
[myHadoop@hadoop103 hadoop-3.1.3]$ jps
[myHadoop@hadoop104 hadoop-3.1.3]$ jps

    hadoop102上应出现如下四个进程（进程号可能不同）
    在这里插入图片描述
    hadoop103上应出现如下四个进程（进程号可能不同）
    在这里插入图片描述
    hadoop104上应出现如下四个进程（进程号可能不同）
    在这里插入图片描述

问题总结

搭建好集群后做一些总结

  1. 集群规划
hadoop102hadoop103hadoop104
NameNode√
DataNode√√√
SecondayNameNode√
ResourceManager√
NodeManger√√√

   这样分配的意义是为了避免单节点负载过重。

  2. 注意以下基础问题：防火墙没关闭、主机名称配置错误、IP地址配置错误、ssh没有配置好、配置文件修改不细心、配置环境变量后没有刷新

  3. 若发现 NameNode 和 DataNode 总有一个会宕机，应：

  • 关闭集群；
  • 删除hadoop目录下生成的 data 和 logs 目录；
  • 仔细检查步骤2中可能出现的问题；
  • 重新格式化，重新启动集群
好色仙人的徒弟
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop完全分布式搭建3.1.3版本超详细
JIUzi2的博客
04-06 827
我
搭建hadoop3.1.3环境
qq_29983883的博客
09-24 336
使用三台虚拟机进行搭建，分别为node1，node2，node3 配置互信，免密钥登陆 添加java环境 解压hadoop-3.1.3.tar.gz 这里将解压内容放在`/export/servers/``目录下 tar -zxvf hadoop-3.1.3.tar.gz -C /export/servers/ 将hadoop路径配置到/etc/profile export HADOOP_HOME=/export/servers/hadoop-3.1.3 export PATH=$PATH:$HADOOP
Centos7搭建Hadoop3.1.3完全分布模式
普通Gopher
12-16 1919
详细搭建可以参考我的Hadoop2.8.0安装 准备 本文下载的是3.1.3版本的Hadoop 关闭防火墙 systemctl stop firewalld setenforce 0 虚拟机的准备 安装3个虚拟机并实现ssh免密码的登录 安装3个centos7虚拟机 安装3个机器，机器分别叫master slave1 slave2 在/etc/hostname下修改主机名 其他两台也是...
关于打不开http://hadoop102:9870网页
最新发布
qq_71955060的博客
03-22 664
关于打不开http://hadoop102:9870网页
Hadoop3.1.3完全分布式安装配置
2301_76741492的博客
06-04 5028
6.三个节点设置静态ip（之前博客有发这里不再进行演示）。同样的方式创建bigdata03节点这里不再进行演示。
Hive3.1.3集群安装
FLY的博客
06-11 1892
hive hive3.1.3集群 mysql
Hadoop 3.1.3的安装部署(HA)
Knight
10-17 1649
目录HDFS HA搭建ResouceManager HA搭建启动集群 HDFS HA搭建 （1）上传压缩包到software文件夹，并进行解压 [root@hadoop202 servers]# cd /export/software/ [root@hadoop202 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /export/servers/ （2）分发export目录下hadoop文件夹 [root@hadoop202 software]# cd /expo
Hadoop启动正常，但是进不了Hadoop102：9870
contacts的博客
03-17 1万+
当我们在虚拟机上的Hadoop启动正常，但进不去Hadoop102：9870解决办法！ 例子如下： 但是网页进不去： 第一：首先看自己的hdfs是否改了登录网址 路径为：/opt/module/hadoop-3.1.3/etc/hadoop/hdfs.site.xml 我的地址就是Hadoop102：9870，所以登陆网址是没有问题的。 第二：看自己的hosts文件，是否配置了相关网点，我就是这样的问题。 看看自己的hosts文件里面是否配置了相关的主机名。 配.
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程
m0_50293032的博客
09-18 9381
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程1.环境准备2 jdk1.8安装2.1 卸载虚拟机自带的JDK2.2 安装JDK1.83.在 hadoop102 安装Hadoop集群3.1集群安装准备3.2 安装hadoop3.3 hadoop运行模式3.4 完全分布式运行模式（开发重点）3.4.1 编写集群分发脚本 xsync3.4.2 ssh免密配置3.4.3 集群配置3.4.4 启动集群 在学习的时候，碰到过很多同学，因为安装集群遇到过各种稀奇古怪的问题，导致很多人的兴趣大大降低。并且本人
Hadoop2.8.1完全分布式环境搭建过程
08-25
本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群），并通过Hadoop分布式计算的一个示例测试集群的正确性。对hadoop分布式环境搭建过程感兴趣的朋友跟随小编...
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
Hadoop完全分布式环境搭建.docx
02-17
【Hadoop完全分布式环境搭建】 在大数据处理领域，Hadoop是一个关键的开源框架，它提供了在分布式计算环境中存储和处理海量数据的能力。本教程将详细介绍如何在虚拟机中搭建一个完全分布式Hadoop环境，适用于学习者...
hadoop2.8.4完全分布式集群搭建
07-22
本人搭建hadoop完全分布式集群时，写的文档，内有详细步骤，
Hadoop完全分布式环境搭建
12-09
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
HADOOP-HDFS-APl（第20天）
qq_70085330的博客
05-31 240
一、Hadoop_HDFS_APl参数优先级 二、Hadoop_HDFS_APl文件下载
Hadoop3.1.0完全分布式集群部署超详细记录
热门推荐
王小雷-多面手
05-09 3万+
Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址 #部署完成后 root@servera:/opt/hadoop/hadoop-3.1.0# jps 14056 SecondaryNameNode 14633 Jps 13706 NameNode 14317 ResourceManager root@serverb:~# jps 5288 Nod...
Linux系统安装hadoop3.1.3实现全分布式
qq_40059532的博客
12-11 2155
工具 Linux系统：CentOS，版本7.0以上 JDK：jdk1.8，1.8版本还分为不同的版本，但必须使用1.8版本的（注意：官网下载Linux版本的jdk） Hadoop：hadoop3.1.3，使用3.0版本以上的应该都没有问题，2.0以上的版本配置可能会有点不相同 虚拟机：VMware workstations，即使是物理机安装Linux也可以 JDK安装 默认你虚拟机安装好了Linu...
CentOS8 安装 hadoop3.2.1 完全分布式集群
05-20 3440
下载地址： https://hadoop.apache.org/releases.html 上传并解压 文档地址： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 一、准备工作 1.设置机器名及对应IP，CentOS8 修改主机名，配置对应IP 2.安装配置jdk8+，CentOS8 安装JDK8 jdk-8u192-linux-x64.tar.gz 3..
hadoop3.1.3的完全分布式搭建
09-27
Hadoop3.1.3的完全分布式搭建主要涉及以下几个步骤:1.安装并配置Hadoop环境;2.在Hadoop集群中安装并配置NameNode和DataNode;3.配置Hadoop客户端;4.启动Hadoop集群;5.在Hadoop集群中执行MapReduce作业。 ### 回答2...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值