hadoop-3.3.0 集群搭建

最新推荐文章于 2024-06-27 11:41:24 发布
最新推荐文章于 2024-06-27 11:41:24 发布
阅读量429 收藏 3
点赞数 1
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43784163/article/details/125662835
版权

安装 hadoop-3.3.0

1.1. 路径

服务器基础环境准备
安装包目录结构
配置文件的修改
- 第一类 1个  hadoop-env.sh
- 第二类  4个  core|hdfs|mapred|yarn-site.xml
  - site表示的是用户定义的配置，会覆盖default中的默认配置。
  - core-site.xml  核心模块配置
  - hdfs-site.xml   hdfs文件系统模块配置
  - mapred-site.xml  MapReduce模块配置
  - yarn-site.xml  yarn模块配置
- 第三类 1个  workers  
scp安装包到其他机器
Hadoop环境变量配置
hadoop namenode format
Hadoop集群启动
Hadoop初体验

1.2. 实现

1.2.1. 服务器基础环境准备

ip、主机名
hosts映射 别忘了windows也配置
防火墙关闭
时间同步
免密登录  node1---->node1 node2 node3
JDK安装

1.2.2. 安装包目录结构

#上传安装包到 /export/software 解压
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

 bin    #hadoop核心脚本 最基础最底层脚本
 etc    #配置目录
 include
 lib
 libexec
 LICENSE.txt
 NOTICE.txt
 README.txt
 sbin  #服务启动 关闭 维护相关的脚本
 share #官方自带实例  hadoop相关依赖jar

1.2.3. 配置文件的修改

cd /export/server/hadoop-3.3.0/etc/hadoop

hadoop-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_241

#文件最后添加
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

core-site.xml

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

hdfs-site.xml

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

yarn-site.xml

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。-->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 保存的时间7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

workers

node1
node2
node3

1.2.4. scp安装包到其他机器

cd /export/server

scp -r hadoop-3.3.0 root@node2:/export/server
scp -r hadoop-3.3.0 root@node3:/export/server

1.2.5. Hadoop环境变量配置

vim /etc/profile

# set hadoop env
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@node1 server]# scp /etc/profile node2:/etc/
[root@node1 server]# scp /etc/profile node3:/etc/

[root@node1 server]# source /etc/profile
[root@node2 ~]# source /etc/profile
[root@node3 ~]# source /etc/profile

1.2.6. hadoop namenode format

（首次启动）格式化namenode

hdfs namenode -format

1.2.7. 在windows配置 ip地址映射

C:\Windows\System32\drivers\etc\hosts 文件

192.168.52.161 node1 
192.168.52.162 node2
192.168.52.163 node3

1.2.8. Hadoop集群启动

1.2.8.1. 单节点逐个启动
[root@node1 server]# hdfs --daemon start namenode
[root@node1 server]# hdfs --daemon start datanode
[root@node1 server]# yarn --daemon start resourcemanager
[root@node1 server]# yarn --daemon start nodemanager
[root@node1 server]# mapred --daemon start historyserver

[root@node2 ~]# hdfs --daemon start secondarynamenode
[root@node2 ~]# yarn --daemon start nodemanager
[root@node2 ~]# hdfs --daemon start datanode

[root@node3 ~]# yarn --daemon start nodemanager
[root@node3 ~]# hdfs --daemon start datanode
1.2.8.2. 脚本一键启动
[root@node1 ~]# start-dfs.sh 
[root@node1 ~]# start-yarn.sh 
[root@node1 server]# mapred --daemon start historyserver

在这里插入图片描述

1.2.9. Hadoop集群关闭

1.2.9.1. 单节点逐个启动
[root@node1 server]# hdfs --daemon stop namenode
[root@node1 server]# hdfs --daemon stop datanode
[root@node1 server]# yarn --daemon stop resourcemanager
[root@node1 server]# yarn --daemon stop nodemanager
[root@node1 server]# mapred --daemon stop historyserver

[root@node2 ~]# hdfs --daemon stop secondarynamenode
[root@node2 ~]# yarn --daemon stop nodemanager
[root@node2 ~]# hdfs --daemon stop datanode

[root@node3 ~]# yarn --daemon stop nodemanager
[root@node3 ~]# hdfs --daemon stop datanode
1.2.9.2. 脚本一键启动
[root@node1 ~]# stop-dfs.sh 
[root@node1 ~]# stop-yarn.sh 
[root@node1 server]# mapred --daemon stop historyserver

1.2.10. 编写自定义一键脚本

1.2.10.1. 自定义一键启动

[root@node1 onekey]# vim /onekey/hd1_start.sh

#!/bin/bash

/export/server/hadoop-3.3.0/sbin/start-dfs.sh
/export/server/hadoop-3.3.0/sbin/start-yarn.sh
/export/server/hadoop-3.3.0/bin/mapred --daemon start historyserver
1.2.10.2. 自定义一键关闭

[root@node1 onekey]# vim /onekey/hd2_stop.sh

#!/bin/bash

/export/server/hadoop-3.3.0/sbin/stop-dfs.sh
/export/server/hadoop-3.3.0/sbin/stop-yarn.sh
/export/server/hadoop-3.3.0/bin/mapred --daemon stop historyserver
1.2.10.3. 修建自定义脚本权限
[root@node1 onekey]# chmod 777 /onekey/*
1.2.10.4. 启动测试
[root@node1 onekey]# /onekey/hd1_start.sh
[root@node1 onekey]# jps
1.2.10.5. 关闭测试
[root@node1 onekey]# /onekey/hd2_stop.sh
[root@node1 onekey]# jps

1.2.11. Hadoop初体验

HDFS集群：http://node1:9870/
YARN集群：http://node1:8088/
historyserver：http://node1:19888/\
子宸心得
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop-3.3.0.tar.gz
08-21
hadoop-3.3.0.tar.gz
hadoop-eclipse-plugin-3.3.0.jar
06-15
https://blog.csdn.net/weixin_43311978/article/details/105452135 按隔壁老哥的教程做的，我也不知道能不能用 免费
hadoop-3.3.0集群环境搭建
AinUser的博客
09-07 382
# 1. 配置三台机器的IP地址 master 10.43.80.80 slave1 10.43.80.81 slave2 10.43.80.82 # 2. 关闭三台机器防火墙 systemctl stop firewalld.service # 3. 修改主机名 对应IP地址，修改对应的主机名 master 10.43.80.80 slave1 10.43.80.81 slave2 10.43.80.82 执行命令 hostnamectl set-hostname master hostname.
Hadoop 部署
最新发布
北_鱼的博客
06-27 1029
Hadoop部署，一键开启大数据之旅！在几台廉价服务器上，轻松构建高效、可靠、可扩展的分布式计算平台。HDFS存储海量数据，MapReduce加速处理，为数据分析和挖掘提供强大动力。无需深究底层细节，轻松驾驭大数据时代！
Hadoop3.3.0完全分布式集群搭建详细教程
m0_46698362的博客
03-29 8594
Hadoop3.3.0完全分布式集群搭建 前言 从零开始学习hadoop，记录成长过程，也是为了集群崩了还能搭好。话不多说，我们开始干活了！ 环境： 虚拟机：VMware15 Linux系统：centos7 需要提前准备好的安装包： 1.centos7镜像文件 2.VMware安装包 3.hadoop3.3.0和jdk1.8压缩包 4.远程访问工具xshell和xftp 接下来面对疾风吧 一、VMware安装 一直点击下一步就可以了，如果c盘不够，可以选择更改安装位置。 密钥可以去网上搜 安装完成
hadoop3.3.0集群搭建（详细教程）
Andy86666的博客
03-12 6925
hadoop3.3.0 集群搭建详细教程
hadoop高可用集群搭建
浅抒流年的博客
08-20 7793
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在搭建Hadoop集群之前，我们需要准备以下要素： 1. **虚拟机环境**：通常我们会使用VirtualBox或VMware等虚拟化软件创建多台虚拟机来模拟集群环境。 2. **操作系统**：一般选择Linux发行版，如Ubuntu、CentOS等，...
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
hadoop-common-3.3.0.jar
02-04
hadoop-common-3.3.0.jar
Hadoop 3.3.0 HA（高可用）集群搭建
l1682686的博客
08-14 3972
Hadoop 3.3.0 HA模式搭建
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
Hadoop3.3.0集群搭建（CentOS7）
weixin_64832812的博客
07-13 2133
Hadoop3.3.0集群搭建（完全分布式）超详细！！！
Hadoop3.3.3集群安装
FLY的博客
06-07 1863
大数据 hadoop集群 hadoop3 hadoop3.3.3
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 2915
hadoop最新版本的HA高可用集群搭建流程
Hadoop完全分布式集群搭建（Hadoop3.3.0）
l1682686的博客
08-05 4139
写在前面：学习记录3~免得以后忘了 完全分布式集群搭建 前情提要： https://blog.csdn.net/l1682686/article/details/107713274 最好先搭个伪分布式练练手。 假如你搭好了，那么 关闭防火墙systemctl stop firewalld.service 1 克隆前配置 1.1先修改一下 /etc/hadoop下的core-site.xml: 我决定主机名用“master”，所以用master替代了原来的localhost。 1.2修改yarn-sit
hadoop3.3.1集群搭建
weixin_38751513的博客
01-13 977
hadoop
Hadoop3.3.0集群安装
学无止境，永不停歇
08-04 7396
Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.设置静态IP，修改主机名，以及创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Java和Hadoop8.安装hadoop集群9.通过网页访问hdfs集群的状态10.通过网页访问YARN集群的状态寄语 环境：JDK1.8 Centos 7.8 Hadoop 3.3.0 1.集群规划 在VMWare中构建3台运行Centos的机器作为服务器，一共3个node，一个node为namenode（master主机） ，另外两个no
Hadoop完全分布式搭建（Hadoop-3.3.0)
qq_73866060的博客
03-31 1597
本教程讲解Hadoop-3.3.0在Ubuntu系统下集群的搭建。在正式开始之前，需要自己先安装好一台虚拟机。
centos7搭建hadoop-3.3.0集群手记
06-28
很高兴为您提供CentOS 7搭建Hadoop 3.3.集群的手记。 1. 安装Java 首先，需要安装Java。可以使用以下命令安装OpenJDK 8： sudo yum install java-1.8.-openjdk-devel 2. 下载Hadoop 下载Hadoop 3.3.版本，并将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值