hadoop完全分布式环境搭建详细版

已于 2022-12-07 17:12:01 修改
阅读量912 收藏 1
点赞数
分类专栏： 工具安装教程 文章标签： hadoop hdfs 大数据
于 2022-12-04 17:41:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52699757/article/details/128174907
版权

1. hadoop集群规划

1.准备3台客户机(关闭防火墙，静态ip，主机名称)

2.安装jdk

3.配置环境变量

4.安装hadoop，hadoop版本是3.1.3,包名为hadoop-3.1.3.tar.gz

5.配置环境变量

6.配置集群

7.单点启动

8.配置ssh

9.群起集群并测试集群

注意: NameNode和SecondaryNameNode和ResourceManage三者很消耗内存,不要安装在同一台服务器上

image-20221118133413157

2. hadoop具体安装步骤

2.0 端口号说明

namenode端口号说明

namenode版本号端口号
1.x8020
2.x9000
3.0.x9020
3.1.x8020

namenode web端口号说明

namenode web端口号版本号端口号
1.x 2.x50070
3.x9870

secondarynamenode web端口号说明

secondarynamenode web端口号版本号端口号
1.x 2.x50090
3.x9868
2.1 上传
2.2 解压
2.3 修改hadoop相关配置文件

有core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml，works

(1)core-site.xml修改的内容有：

①NameNode的内部连接地址；

②hadoop数据存储的目录，默认是linux临时目录,到日期会被清除掉；

③配置hdfs登录的静态用户moxi,(好处是当使用的是moxi用户启动的hadoop，有权限进行删除)；

④配置moxi为代理用户(因为在使用hive的时候，每一个用户都会创建一个hiveserver2，这个客户端非常占用空间，就想着所有用户用同一个hiveserver2，提交作业，如果不配置不可以，配置了就能用。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
	</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
	</property>

<!-- 配置HDFS网页登录使用的静态用户为moxi -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>moxi</value>
	</property>

<!-- 配置该moxi(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
	</property>
<!-- 配置该moxi(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.moxi.groups</name>
        <value>*</value>
	</property>
<!-- 配置该moxi(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.moxi.users</name>
        <value>*</value>
	</property>
</configuration>

(2)hdfs-site.xml修改的内容有：

①配置nn web端访问的地址，配置为hadoop102:9870

②配置2nn web端访问地址，配置为hadoop104:9868

③配置hdfs副本的数量，一般指定为3个，测试集群一般是1个

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
    
    <!-- 环境指定HDFS副本的数量3 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

(3)yarn-site.xml修改的内容有：

①指定MR走shuffle

②指定ResourceManager的地址：在hadoop103

③环境变量的继承

④yarn单个容器允许分配的最大最小内存，(默认是8G，需要修改,限定为和服务器一样大），这个参数每个机器单独设置，(内存为8，4，4和6，3，3需要修改，最大内存和服务器分配的最大内存一样，否则，内存超出会崩)

⑤yarn容器允许管理的物理内存大小，这个参数每个机器单独设置

⑥关闭yarn对虚拟内存的限制，物理内存不能关闭。(默认都是true，检测nodemanager和其它组件内存使用情况，超过内存大小就阻止它使用，把他干掉，很危险，需要关闭；虚拟内存，就是把超出内存的空间运行在磁盘上)

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!--yarn单个容器允许分配的最大最小内存，最大内存不超过虚拟机分配的内存-->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小，最大内存不超过虚拟机分配的内存 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

(4)mapred-site.xml修改的内容有：

①指定mapreduce程序在yarn上运行

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(5)配置集群works：

在1.x和2.x名字叫slaves，不叫works。

把默认的localhost删掉，注意：填写下面的hadoop102，hadoop103，hadoop104，需要提前做好主机名和ip地址的映射；下面的文件不能有空格例如在hadoop102后面不能有空格；也不能有空行，在hadoop104下面不能有空行

hadoop102
hadoop103
hadoop104
2.4 配置历史服务器

为什么要配置历史服务器？

任务在运行过程中，会记录运行过程的日志，不配置，运行结束了就结束了。

在hadoop-3.1.3/etc/hadoop/mapred-site.xml文件下配置

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>
2.5 配置日志聚集功能

作用：不配置，查看日志需要在各自台上查询各自的，这是很麻烦的一件事，如果配置过之后，就可以在一台设备上，查看所有设备的日志，这是很方便的

在 yarn-site.xml上配置。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
2.6 分发hadoop到其它集群
[moxi@hadoop102 hadoop-3.1.3]$ xsync /opt/module/hadoop-3.1.3/
2.7 配置hadoop环境变量
[moxi@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容：

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
2.8 分发环境变量

注意：在root下，需要把分发指令路径写完整。

[moxi@hadoop102 hadoop-3.1.3]$ sudo /home/moxi/bin/xsync /etc/profile.d/my_env.sh
2.9 source 是之生效
[moxi@hadoop102 module]$ source /etc/profile.d/my_env.sh
[moxi@hadoop103 module]$ source /etc/profile.d/my_env.sh
[moxi@hadoop104 module]$ source /etc/profile.d/my_env.sh
2.10 第一次启动需要格式化namenode

如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[moxi@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format
2.11 单节点启动集群

(1)启动HDFS

[moxi@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

(2)在配置了ResourceManager的节点（一定要在hadoop103上启动，因为在103上配置的）启动YARN

[moxi@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
2.12 在web端查看页面

①Web端查看HDFS的Web页面：http://hadoop102:9870/

②Web端查看yarn的web页面：http://hadoop103:8088/

2.13 hadoop群起集群配置

在一台设备上启动所有进程。

进入目录/home/moxi/bin

编辑文件vim hdp.sh

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

给权限

chmod 777 hdp.sh

使用指南:

hdp.sh start

安装包链接：

链接：https://pan.baidu.com/s/1NUBmKLx6K71H95OZwOweag?pwd=kpv1
提取码：kpv1

晚风烟火
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hadoop】安装部署-完全分布式搭建
Deity567的博客
06-28 2555
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中。Hadoop是大数据中的基础框架，有着广泛的应用，也是其他大数据框架的基础。总的来说，对于本次Hadoop的完全分布式的搭建还算是挺简单滴啦，若有不对滴还请大家在评论区指正哦！
hadoop完全分布式环境搭建
琰潇秋的博客
04-09 261
1）准备 3台客户机（关闭防火墙、静态 IP、主机名称） 2) 配置 ssh 3）安装 JDK 4）安装 Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）群起并测试集群 1.安装VM 2.配置网络环境 可自己更改子网IP 需手动设置IP地址 VM网络环境搭建完成 配置要求:3台虚拟机 192.168.148.106/107/108 2.搭建一台虚拟机 3.配置虚拟机环境 更改ip地址 [root@hadoop105 ~]# vim /etc/sysconfig/network-
Hadoop的完全分布式搭建
ruo1101的博客
06-07 795
首先网卡配置完成后就可以SSH连接了,使用IP地址即可,但是为保证连接的方便,一般我们在Windows中也是使用一个主机名来连接服务器,但是Windows并不认识我们的主机,所以同样需要配置Windows的。,其他的两台还没有,但是这并不影响我们操作,我们就配置这一台,然后克隆出另外两台因为对于Hadoop的配置来说,集群所有的机器都是一致的。一般情况下,用户对hadoop的配置修改都是对自定义配置文件进行操作,自定义配置文件的优先级更高,也就是说,自定义配置会覆盖默认配置。
Hadoop完全分布式环境搭建
xiaoxsen的博客
05-26 2万+
最近在学习hadoop，经过几番折腾终于把分布式环境搭建成功，这里总结一下搭建过程和过程中遇到的问题与解决方案。 一、准备工作 1.下载vmvare软件，配置NAT网络模式 NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。 2.安装centos虚拟机 安装步骤这里不细讲，可以参考https://blog.csdn.......
Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
最新发布
2401_84160041的博客
04-27 317
3.检验JDK： 输入javac： 输入 java -version： 4.配置hosts ip地址根据自己虚拟机的ip与名称进行修改5.做免密登录： 输入代码后根据提示输入yes或者密码 6.分发jdk: 7.在bigdata1将Hadoop解压到/opt/module 8.添加Hadoop的环境变量 三台虚拟机都要配置 刷新环境变量 9.配置文件在hadoop-3.1.3/etc/hadoop里面 ①core-site.xml ②hdfs-site.xml ③yarn-site.xml
【教程】Hadoop完全分布式环境搭建全过程
m0_51226527的博客
02-16 5328
Hadoop完全分布式环境搭建全过程详细讲解 集群服务器：hadoop102、hadoop103和hadoop104 文末提供相关资源下载链接
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
hadoop 分布式环境搭建
pys52055的博客
12-06 104
伪分布式 1 修改 vim etc/hadoop/core-site.xml 文件 添加 //hadoop 是主机名称 <configuration> <!-- 指定HDFS中nameNode地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop:9000</value> </proper
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop完全分布式环境搭建.docx
02-17
【Hadoop完全分布式环境搭建】 在大数据处理领域，Hadoop是一个关键的开源框架，它提供了在分布式计算环境中存储和处理海量数据的能力。本教程将详细介绍如何在虚拟机中搭建一个完全分布式Hadoop环境，适用于学习者...
Hadoop完全分布式环境搭建步骤
06-11
Hadoop完全分布式环境搭建文档，绝对原创，并且本人亲自验证并使用，图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤，条例格式清楚，不能成功的，请给我留言!将给与在线支持！
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 4955
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
Hadoop完全分布式平台环境搭建
weixin_46132649的博客
03-06 356
Hadoop完全分布式平台环境搭建
Hadoop完全分布式搭建
m0_74413382的博客
05-31 408
搭建好之后改成完全分布式，或者直接搭建完全分布式。
Hadoop完全分布式环境搭建详解
"Hadoop完全分布式安装教程" 在大数据处理领域，Hadoop是一个不可或缺的开源框架，它主要用于存储和处理大规模数据。本教程将详细介绍如何在分布式环境中安装和配置Hadoop，以便搭建一个完整的Hadoop集群。 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值