Hadoop集群完全分布式模式配置

最新推荐文章于 2024-07-31 23:10:00 发布
最新推荐文章于 2024-07-31 23:10:00 发布
阅读量2k 收藏 4
点赞数 2
分类专栏： hadoop 文章标签： hadoop集群搭建 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013634252/article/details/88082839
版权

这篇文章讲述的是hadoop集群的完全分布式的配置，如有错误或不当之处，还望各位大神批评指正。

一、安装前准备

要安装hadoop你需要先完成以下几件事：

二、安装jdk

1. 下载系统版本对应的jdk

网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
在这里插入图片描述

2. 将下载的jdk拷贝到Linux（两种方法）

  • 第一种方法：
    1. 使用secureCRT，或者xshell登录到Linux
    2. 安装rz,sz命令
      yum install lrzsz
    3. 使用rz命令上传文件
      # 输入命令
rz
# 选择jdk文件
  • 第二种方法：
    1. 使用secureCRT登录到Linux
    2. 选择菜单“file”，选择子菜单“connect SFTP session”，或者直接输入快捷键Alt+P
    3. 将jdk文件拖入即可，入下图
      在这里插入图片描述

3. 解压jdk文件包

	tar -zxvf jdk-8u201-linux-x64.tar.gz

4. 配置jdk环境变量

打开文件/etc/profile

	#打开文件/etc/profile
	vi /etc/profile

在文件末尾加入如下内容（注意将JAVA_HOME变量值替换为你自己的jdk目录）

	export JAVA_HOME=/home/hadoop/jdk1.8.0_201
	export PATH=$JAVA_HOME/bin:$PATH 
	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5. 使环境变量生效

	source /etc/profile

6. 检查是否配置成功

输入java -version命令，如果出现以下内容则安装jdk成功
在这里插入图片描述

三、安装hadoop

  • 安装hadoop与安装jdk类似需要以下几步

1. 下载hadoop安装包

网址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.2/hadoop-3.1.2-src.tar.gz

2. 将安装包拷贝到Linux

与jdk安装包的拷贝类似，这里不再赘述

3. 解压hadoop安装包

	tar -zxvf hadoop-3.2.0.tar.gz

4. 配置hadoop环境变量

打开文件/etc/profile

	#打开文件/etc/profile
	vi /etc/profile

在文件末尾加入如下内容（注意将HADOOP_HOME变量值替换为你自己的jdk目录）

export  HADOOP_HOME=/home/hadoop/hadoop-3.2.0
# 在PATH变量后追加hadoop命令行
export  PATH=.:$HADOOP_HOME/bin:

5. 使环境变量生效

	source /etc/profile

6. 检查安装是否生效

输入hadoop version若出现如下内容则安装hadoop成功
在这里插入图片描述

四、hadoop完全分布式配置

1. 配置hadoop-env.sh

  • 进入hadoop目录
  • 输入命令打开hadoop-env.sh文件
    	vim etc/hadoop/hadoop-env.sh
  • 找到JAVA_HONE这一行，输入以下内容:
export JAVA_HOME=/home/hadoop/jdk1.8.0_201

在这里插入图片描述

2. 配置core-site.xml （临时文件目录、NAMENODE）

  • 进入hadoop目录
  • 输入命令打开core-site.xml 文件
    	vim etc/hadoop/core-site.xml
  • 在configuration标签中加入如下内容
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/hadoop-3.2.0/hdfs/tmp</value>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop101:9000</value>
</property>

在这里插入图片描述

3. 配置hdfs-site.xml （副本数，NodeManager，namenode和DataNode的存放位置，管理网址）

  • 进入hadoop目录
  • 输入命令打开hdfs-site.xml 文件
    	vim etc/hadoop/hdfs-site.xml
  • 找到configuration，输入以下内容:
<property>
 <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>/home/hadoop/hadoop/hadoop-3.2.0/hdfs/name</value>
   <final>true</final>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/hadoop/hadoop/hadoop-3.2.0/hdfs/data</value>
  <final>true</final>
</property>
<property>
 <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop103:9001</value>
</property>
<property>
 <name>dfs.namenode.http-address</name>
  <value>hadoop001:50070</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在这里插入图片描述

4. 配置yarn-site.xml（resourceManager，yarn管理网址）

  • 进入hadoop目录
  • 输入命令打开yarn-site.xml文件
    	vim etc/hadoop/yarn-site.xml
  • 找到configuration标签，输入以下内容:
<property>
 <name>yarn.resourcemanager.address</name>
   <value>hadoop102:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>hadoop102:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>hadoop102:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>hadoop102:18025</value>
 </property>
 <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>hadoop102:18141</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop102</value>
 </property>
 <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>>

 <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
 </property>
 <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/home/hadoop/hadoop/hadoop-3.2.0/hdfs/tmp</value>
    </property>
 <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/home/hadoop/hadoop/hadoop-3.2.0/hdfs/done</value>
 </property>

在这里插入图片描述

5. 配置mapred-site.xml

  • 进入hadoop目录
  • 输入命令打开mapred-site.xml 文件
    	vim etc/hadoop/mapred-site.xml
  • 在configuration标签中加入如下内容
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop/hadoop-3.2.0/</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop/hadoop-3.2.0/</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop/hadoop-3.2.0/</value>
</property>

在这里插入图片描述

6. 配置workers（老版本是slavers，DATANODE）

  • 进入hadoop目录
  • 输入命令打开mapred-site.xml 文件
    	vim etc/hadoop/workers
  • 添加如下内容（注意每行末尾不要有空格）
hadoop101
hadoop102
hadoop103

在这里插入图片描述
至此hadoop集群中的一台机器（hadoop101）配置完毕，其他两台主机配置相同，可以一台一台配置，也可以使用脚本xsync，脚本参考：https://blog.csdn.net/u013634252/article/details/88070694

五、启动hadoop集群

1. 启动HDFS

	start-dfs.sh

2. 格式化namenode（一次即可）

	hdfs namenode -format

注意：只在刚配置好集群时候格式化，格式化中途如有任何情况中断，或让你输入东西，证明你多次格式化了namenode，此时需要删除你在hdfs-site.xml中设置的name节点位置和data节点位置，再重新格式化

3. 启动YARN

	start-yarn.sh

注意要在配置ResourceManager那个节点上启动

4. 启动日志

	 mr-jobhistory-daemon.sh start historyserver

六、测试MapReduce（wordcount为例）

  • 使用hadoop自带的wordcount案例

1. 新建input.txt文件，并往里边随便放点单词

	vim input.txt

在这里插入图片描述

2. 在HDFS里新建文件夹/wordcount/input

	hdfs dfs -mkdir -p /wordcount/input

3. 将输入文件input.txt文件放入HDFS

	hdfs dfs -put input.txt /wordcount/input

4. 执行MapReduce

	yarn jar /home/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /wordcount/input /wordcount/output
  • 如果出现如下内容则证明hadoop集群已经搭好
    在这里插入图片描述

5. 查看MapReduce结果

	hdfs dfs -cat /wordcount/output/part-r-00000

在这里插入图片描述
至此，完全分布式的hadoop集群搭建完毕！

叶清逸
关注
专栏目录
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
Hadoop系列之完全分布式环境搭建及测试验证
LUFANZHENG的专栏
10-08 856
前置条件： 已制作好CentOS 虚拟机模板。 该模板安装好Oracle JDK，且 JAVA_HOME 值为/usr/java/jdk1.8.0_171-amd64/jre。 CentOS 模板安装可参博客： https://blog.csdn.net/gobitan/article/details/80993354   准备三台虚拟机 搭建完全 Hadoop 分布式最少需要三台服务器...
Hadoop伪分布式、完全分布式搭建和测试（详细版）
Cocos的博客
10-19 7171
安装 Hadoop 入门学习，快速搭建伪分布式环境。 注：需要下载的安装包在文章底部，请自行获取。 1. 修改主机名 vim /etc/hostname vim /etc/hosts reboot reboot 重启主机使修改配置文件生效，这里我设置的主机名是 : cx。 注意：出于安全考虑，如果只想局域网访问 127.0.0.1 cx 就可以 如果不在远程服务器，不在一个局域网...
Hadoop完全分布式安装
最新发布
2401_82567159的博客
07-31 991
打开浏览器，在浏览器地址栏中输入以下地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/。​ 动态分配的IP地址是临时的，它会在一定时间内释放该IP地址供其他机器使用，因此使用该方式获取的IP地址不是固定的，这样会导致集群不稳定。Hadoop的配置文件要修改的地方很多，请细心！​ 后续安装的集群，都需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆。克隆master节点。
Hadoop完全分布式部署配置及测试示范
大邳草民的博客
11-18 579
SSH客户端：SSH客户端是安装在本地计算机上的软件，它用于发起与SSH服务器的连接，并在连接建立后，允许用户输入用户名和密码（或使用SSH密钥）进行身份验证，然后执行远程命令或登录到远程主机。在使用 start-yarn.sh 启动后，如果使用 jps 命令没有看到相应的进程输出，首先应该检查配置文件. 如果配置文件没有问题，那么可能是由于 JDK 版本的问题导致的.SSH服务器：SSH服务器是安装在远程主机上的软件，它负责监听SSH连接请求，并在用户身份验证通过后，提供远程登录和命令执行的功能。
如何判定hadoop的hdfs是否格式化成功？
pure_light's Blog
07-08 4763
17/07/07 21:01:12 INFO common.Storage: Storage directory /usr/hadoop-2.6.0/hadoop-root/dfs/name has been successfully formatted. 17/07/07 21:01:12 INFO namenode.NNStorageRetentionManager: Going to re
Hadoop完全分布式运行模式---集群测试(以及遇到的很多错误)
weixin_44976835的博客
03-24 794
将文件上传至HDFS hadoop fs -mkdir /wcinput将wcinput文件夹上传至HDFS 然后在wcinput文件夹内创建一个文件word.txt 将wcinput/word.txt上传至HDFS：hadoop fs -put wcinput/word.txt /wcinput 在hadoop102:9870页面查看： 可以看到wcinput文件夹： 进入wcinput文件夹： 文件已经上传成功： 可以进行查看和下载 HDFS数
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop完全分布式配置.txt
11-05
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
完全分布式模式的Hadoop集群安装
03-22
### 完全分布式模式的Hadoop集群安装 #### 实验背景与目的 在现代大数据处理领域，Apache Hadoop因其强大的数据处理能力而受到广泛青睐。本文档旨在介绍如何在Linux环境下，利用三台虚拟机（一台主机两台从机）...
hadoop完全分布式安装配置
05-24
本教程将详细介绍如何在Linux环境中配置Hadoop2.7.6的完全分布式环境，以实现高效的数据处理。 首先，理解Hadoop的基本架构至关重要。Hadoop由两个主要组件构成：HDFS（Hadoop Distributed File System）和...
Hadoop集群的搭建【完全分布式】
Rashaun`s blog
11-13 155
集群安装在多个节点上的    1）多个节点的要求：    多个节点的用户名（安装的时候使用的用户/普通用户）一定要统一    多个节点的安装目录统一   集群规划：集群中的各个节点安装的组件有哪些    HDFS yarn   namenode datanode secondarynamenode rm nm   master namenode resourcemanager   ...
大数据--Hadoop环境部署(4)Hadoop集群部署
qq_51641196的博客
12-03 2212
Hadoop集群的部署方式分为三种，分别是独立模式(Standalone mode)、伪分布式模式(Pseudo-Distributed mode)和完全分布式模式(Cluster mode)，独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。 为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务一.Hadoo...
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 4万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 5261
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 1万+
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
自学大数据第5天~hadoop集群搭建(二)
Gavin
03-08 1056
写入该文件,每行一个,默认localhost(即把本机(namenode也作为数据节点),所以我们在伪分布式是没有配置该文件;此处提示该命令被废弃了(这个跟hadoop版本有关,按照提示,使用mapred --daemon start 代替上述命令。/usr/local文件权限不能随便改,于是我在local下建了一个 临时文件夹,传输完成后,将文件夹移来;的,冗余通常为3,也就是说,一份数据有三分副本,所以存1G的数据需要3G的容量;于是修改文件所属为hadoop,授予文件700权限,还是不可以;
大数据系列——Hadoop部署及应用
mql007007的博客
03-20 4225
大数据系列——Hadoop部署及应用
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 5217
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
Hadoop1.0.2完全分布式配置指南
"hadoop分布式搭建，包括hadoop集群的详细部署和配置，主要涉及hadoop 0.20.2版本的完全分布式模式。" 在搭建Hadoop分布式环境时，我们需要遵循一系列步骤以确保集群能够正常运行。以下是对标题和描述中所述知识点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值