【Hadoop-3.3.6 完全分布式的保姆级教程】

已于 2024-12-09 22:00:03 修改
阅读量1.4k 收藏 15
点赞数 19
文章标签： 分布式 hadoop 大数据
于 2024-07-08 20:16:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2203_75584759/article/details/140277809
版权

hadoop 完全分布式 hadoop-3.3.6

前置条件： ↓

  • hadoop-3.3.6版本及更高版本（运行时）支持jdk-8和jdk-11，建议使用jdk-8

配置环境变量 /etc/profile

export HADOOP_HOME=/opt/module/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

hadoop-env.sh 需要配置jdk环境变量和用户权限

export JAVA_HOME=/opt/module/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

yarn-env.sh 需要配置jdk的环境变量和用户权限

export JAVA_HOME=/opt/module/jdk
export YARN_NODEMANAGER_USER=root
export YARN_RESOURCEMANAGER_USER=root

以下为核心配置文件

  • core-site.xml
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/datas/tmpdir</value>
    </property>
    <!--设置 Hadoop Web 服务请求使用的静态用户身份-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
	</property>
	<!--设置 root 用户身份可以代理的主机 * 表示所有-->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <!--设置 root 用户可以代理的用户组 * 表示所有-->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
  • hdfs-site.xml
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/module/hadoop/datas/namedir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/module/hadoop/datas/datadir</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave1:50090</value>
    </property>
  • yarn-site.xml
    <!--指定resourcemanager的地址和端口-->
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <!--指定resourcemanager的web地址和端口-->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
    <!--指定nodemanager启动时加载server的方式-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--日志聚集功能-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--删除聚合日志之前保留聚合日志的时间-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>
    <!--检查并删除过期日志文件的间隔时间-->
    <property>
        <name>yarn.log-aggregation.retain-check-interval-seconds</name>
        <value>3600</value>
    </property>
    <!--远程日志聚合目录的根目录（hdfs）-->
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/yarn-logs</value>
    </property>
    <!--远程日志目录后缀-->
    <property>
        <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
        <value>logs</value>
    </property>
    <!--yarn日志服务器的url-->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://slave2:19888/jobhistory/logs</value>
    </property>
    <!--禁用yarn对容器进行物理内存限制 => 可以避免出现物理内存溢出导致容器被kill的错误-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <!--禁用yarn对容器进行虚拟内存限制 => 可以避免出现虚拟内存溢出导致容器被kill的错误-->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
  • mapred-site.xml
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>slave2:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>slave2:19888</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.http.address</name>
        <value>slave2:19890</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>mapred-history/tmpdir</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>mapred-history/donedir</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
    </property>
    <!--设置yarn的类路径到mapreduce-site文件里面，可以避免出现mapreduce运行时出现找不到主类的错误，类路径只能写完整路径-->
    <property>
    	<name>yarn.application.classpath</name>
    	<value>
    	/opt/module/hadoop/etc/hadoop,
    	/opt/module/hadoop/share/hadoop/common/lib/*,
    	/opt/module/hadoop/share/hadoop/common/*,
    	/opt/module/hadoop/share/hadoop/hdfs,
    	/opt/module/hadoop/share/hadoop/hdfs/lib/*,
    	/opt/module/hadoop/share/hadoop/hdfs/*,
    	/opt/module/hadoop/share/hadoop/mapreduce/lib/*,
    	/opt/module/hadoop/share/hadoop/mapreduce/*,
    	/opt/module/hadoop/share/hadoop/yarn,
    	/opt/module/hadoop/share/hadoop/yarn/lib/*,
    	/opt/module/hadoop/share/hadoop/yarn/*
    	</value>
    </property>
  • workers
master
slave1
slave2

执行以下命令步骤启动hadoop

  1. 格式化namenode：在master节点格式化 hdfs namenode -format
  2. 启动集群节点hdfs、yarn一起启动：在master节点启动 start-all.sh
  3. 启动历史（日志）服务器：在slave2节点启动 mapred --daemon start historyserver
  4. 使用jps验证是否启动成功

master:

  • NameNode
  • DataNode
  • NodeManager
  • ResourceManager

slave1:

  • DataNode
  • NodeManager
  • SecondaryNameNode

slave2:

  • DataNode
  • NodeManager
  • JobHistoryServer

hdfs Web地址：http://master:50070

secondary web地址：http://slave1:50090

resourcemanager web地址：http://master:8088

jobhistory web地址：http://slave2:19888

【Hadoop3.3.6全分布式环境搭建】
若兰幽竹
04-20 1295
上传jdk-8u171-linux-x64.tar.gz到/root目录下，然后执行下面的命令进行解压安装。如果不一样的话，我们在执行MapReduce程序的时候可能会存在问题.。将master上的hadoop环境复制到slave01 slave02。1）搭建一个时间同步的服务器，网上很多教程可以使用。4、配置免密码登录（配置两两之间的免密码登录）3、所有主机都需要配置主机名映射关系。所有的机器都需要产生一对密钥：公钥和私钥。
Hadoop(02) Hadoop-3.3.6 集群的配置教程
weixin_38735917的博客
10-03 4301
为了简化分布式模式的部署难度，我们可以使用两个节点（两台物理机器）来搭建一个简单的集群环境。为了便于区分，我们将其中一台机器将作为Master节点，其主机名命名为hadoop01；另一台机器将作为Slave节点，其主机名命名为hadoop02。如果需要构建由三个以上节点组成的集群，可以采用类似的方法进行安装和部署。
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。适用于用户进行大数据处理和存储的需求。下载后请按照官方文档进行安装和配置。
Hadoop3.3.6集群安装
最新发布
FLGB
11-25 1018
在 Windows 下 C:\Windows\System32\drivers\etc\hosts 添加 IP 映射。vim /etc/profile.d/my_env.sh配置JAVA和Hadoop环境变量（** (2)、修改配置文件yarn-env.sh 在文件末尾加上**解压后即可，看到/opt/app/hadoop-3.3.6文件夹。】查看/output路径下面生成的单词计数结果文件是否正确。** (1)、修改 hadoop-env.sh**修改下面文件中存在，配置放入其中，且只保留一组的。
Hadoop3.3.6完全分布式集群【三个节点】的安装配置
weixin_45962133的博客
07-12 2148
hadoop3.3.6完全分布式集群部署，三个节点配置
Hadoop-3.3.6完全分布式集群搭建
m0_62929925的博客
09-10 1422
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。打开Xshell7,左上角新建文件，在弹出框设置两个从节点的名称和ip地址，然后连接，随后输入root账号密码完成连接。回到主节点ljl，执行。
hadoop3.3.6完全分布式搭建
AMRXC的博客
09-13 742
（3）在 master 节点中使用 hadoop 用户依次配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml、workers 配置文件，Hadoop 集群部署规划如下表；hadoop完全分布式安装配置需要使用 root 用户和 hadoop 用户完成相关配置，使用三个节点完成 Hadoop 完全分布式安装配置。至 slave1 和 slave2 节点；
Hadoop-3.3.6完全分布式集群安装
m0_63480823的博客
09-09 396
Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机。Step2：在克隆的虚拟机内输入命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33并修改ip。Step7：在每台虚拟机上输入：vi /etc/hosts 写入三个虚拟机的的ip地址和主机名。Step8：分发jdk，在master主机上输入cd /opt（打开解压后的jdk所在文件夹）
hadoop-3.3.6-src.tar.gz
04-09
总的来说，`hadoop-3.3.6-src.tar.gz`提供了研究、学习和开发Hadoop的机会，无论是对于初学者还是经验丰富的开发者，都能从中深入了解分布式计算的精髓。通过对源代码的探索，我们可以更有效地利用Hadoop解决实际的...
适用于hadoop 3.3.5 3.3.6版本的winutils
10-08
winutils文件合集，Hadoop3.3.5以及3.3.6可用 winutils.exe是在windows系统上安装hadoop时所需要的winutils文件，内附多个版本，支持 hadoop-3.3.5 hadoop-3.3.6
hadoop-aliyun-3.3.6.jar
10-22
hadoop-aliyun-3.3.6.jar
最新版本——Hadoop3.3.6单机版完全部署指南
大数据流动
12-06 1743
大家好，我是独孤风，大数据流动的作者。本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。本文档版权归大数据流动所有，请勿商用，全套大数据、数据治理、人工智能相关学习资料，请关注大数据流动。（本文所使...
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
weixin_43655425的博客
12-08 2121
一文搞定Hadoop完全分布式部署
Hadoop3.3.6高可用集群搭建
qq_28604399的博客
09-07 850
在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。解决方法：安装插件psmisc。
Hadoop3.3.6 HA分布式安装
weixin_43838444的博客
08-30 568
Hadoop3.3.6 HA分布式安装 安装JAVA环境 安装Zookeeper环境 编译Hadoop源码 安装Hadoop cd /export/software tar -zxvf hadoop-3.3.6.tar.gz -C ../server/ cd ../server/hadoop-3.3.6/ 配置hadoop-env.sh export JAVA_HOME=/export/server/jdk1.8.0_241 export HADOOP_PID_DIR=/export/
Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置
weixin_38735917的博客
09-26 7646
在安装 Hadoop 3.3.6 前，需要满足以下前置条件：Java Development Kit (JDK)：Hadoop 是用 Java 编写的，因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK，并设置 JAVA_HOME 环境变量。SSH：Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在所有节点上安装和配置了 SSH，并且可以通过 SSH 无密码登录到集群的各个节点。
Hadoop 3.3.6分布式集群环境搭建
liaodaoguo的博客
11-13 842
一共准备了3台centOS虚拟机，master、slave1、slave2在 %wheel下一行添加内容注意：要所有服务器执行完上面命令才进行下面的操作其他主机上同理执行。
Centos7系统下搭建Hadoop 3.3.6
zxc872202364的博客
10-08 1719
Centos7系统下搭建Hadoop 3.3.6(包括jdk的安装)
在linux下hadoop 3.3.6部署集群
11-11 386
Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）6.1、在主节点启动hdfs，./start-dfs.sh。6.2、在主节点启动yarn，./start-yarn.sh。6.4、在node2节点jps查看。6.5、在node3节点jps查看。4.2、在hadoop创建目录。6.3、在主节点jps查看。一、hadoop介绍。六、hadoop启动。七、查看hadoop。
hadoop-3.3.3完全分布式集群搭建
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中。 3. 搭建hadoop集群：关闭防火墙，修改主机名，添加IP映射，配置免密登录。 4. 修改hadoop配置文件：解压hadoop，配置hadoop环境变量，修改hadoop的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers。 5. 分发文件：将配置好的hadoop文件分发到集群中的所有节点。 6. 格式化namenode：使用hadoop命令行工具格式化namenode。 7. 启动Hadoop集群并测试：启动hadoop集群，可以通过查看进程、访问web界面和运行官方案例WordCount来测试集群的运行情况。 通过以上步骤，就可以成功搭建hadoop-3.3.3的完全分布式集群。请根据实际需求和操作系统进行相应的调整和配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

操练小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值