hadoop集群二之hadoop安装

已于 2023-06-19 22:48:50 修改
阅读量2.3k 收藏 7
点赞数
分类专栏： 大数据 文章标签： hadoop
于 2022-04-28 23:19:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42689212/article/details/124485293
版权

上一篇我们已经准备好三台虚拟机，计划一主两从搭建hadoop集群。没安装的可以参考一下。

虚拟机安装传送门：mac搭建hadoop集群之虚拟机安装

集群规划

主机角色
node1NN DN RM NM
node2SNN DN NM
node3DN NM

集群配置

hadoop3.3安装包下载

更改主机名

分别将三台虚拟机分别更改为node1、node2、node3。

vim /etc/hostname

在这里插入图片描述

新增host映射

vim /etc/hostname

# 添加的内容
172.16.254.4 node1
172.16.254.5 node2
172.16.254.6 node3

在这里插入图片描述

时间同步及防火墙关闭

# 集群时间同步
ntpdate ntp5.aliyun.com

# 防火墙关闭
firewall-cmd --state	#查看防火墙状态
systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务

ssh免密登录（只需要配置node1至node1、node2、node3即可）

#node1生成公钥私钥 (一路回车)
ssh-keygen  

#node1配置免密登录到node1 node2 node3
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

上传安装包

新建目录/export/server目录

mkdir -p /export/server

将hadoop3.3安装包下载内的 jdk-8u241-linux-x64.tar.gz和hadoop-3.3.0-Centos7-64-with-snappy.tar.gz两个压缩包上传到node1中的/export/server。

解压

cd /export/server

tar zxvf jdk-8u241-linux-x64.tar.gz

tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

环境变量的配置

#配置环境变量
vim /etc/profile

# jdk
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# hadoop
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完以后记得运行source /etc/profile，输入java -version查看jdk版本确认配置是否生效。

修改hadoop配置文件

配置文件路径/export/server/hadoop-3.3.0/etc/hadoop

  • hadoop-env.sh

    #文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_241
export HADOOP_HOME=/export/server/hadoop-3.3.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

  • core-site.xml

    <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- io操作文件缓冲区大小 -->
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0/data</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

  • hdfs-site.xml

    <property>
    <name>dfs.namenode.rpc-address</name>
    <value>node1:8020</value>
</property>
<!-- hdfs文件系统，默认创建的文件权限设置 700表示rwx -->
<property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/export/server/name</value>
</property>
<!-- NameNode允许哪几个节点的DataNode连接（即允许加入集群） -->
<property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
</property>
<!-- hdfs默认块大小 256M -->
<property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
</property>
<!-- namenode处理的并发线程数 以100个并行度处理文件系统的管理任务 -->
<property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>/export/server/data</value>
</property>
<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

  • mapred-site.xml

    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

  • yarn-site.xml

    <!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

  • workers

    node1
node2
node3

分发同步hadoop安装包

cd /export/server

scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD

Hadoop集群启动

  • （首次启动，有数据的情况下千万别执行）格式化namenode

    hdfs namenode -format

  • 脚本一键启动
    start-all.sh 可一键启动，当然也可以分开执行。

    [root@node1 ~]# start-dfs.sh 
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0

[root@node1 ~]# start-yarn.sh 
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

[root@node1 ~]# start-all.sh

    通过执行jps查看运行的hadoop集群是否满足我们的规划。node1这样完全满足。
    在这里插入图片描述

  • Web UI页面

    • HDFS集群：http://node1:9870/（http://172.16.254.4:9870/可能需要加上ip才能正常打开）
    • YARN集群：http://node1:8088/
      在这里插入图片描述

在这里插入图片描述
至此，hadoop集群搭建成功！

皮皮虾不皮呀
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用ansible 自动 安装Hadoop 集群
05-10
利用ansible 自动 安装Hadoop 集群
Hadoop安装包3.3.1 64位
12-30
基于JDK8编译的hadoop3.3.1; 安装教程https://blog.csdn.net/l576754326/article/details/122216004?spm=1001.2014.3001.5501
Hadoop集群安装
01-07
Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode SecondaryNameNode Yarn NodeManager Resourcemanager NodeManager NodeManager     1. 虚拟机
Hadoop集群环境配置及安装配置（详细过程包含安装包）
2202_75347029的博客
07-07 2万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
史上最详细的hadoop安装教程
m0_67391120的博客
08-28 3159
我使用的是Hadoop的伪分布式，因此需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop3.1.1/etc/hadoop下面，把mapred-site.xml.template 复制一份 cpmapred-site.xml.templatemapred-site.xml,然后配置。(1)core-site.xml 配置如下： 目录文件不需要你自己去创建会自动生成。...
Hadoop 3.2.0 安装---安装Hadoop
丶小剩子的博客
04-26 1万+
1.下载最新的Hadoop安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2.将安装包上传到linux服务器/usr/local/software/目录下 3.切换到该目录，解压hadoop安装包 #cd/usr/local/software/ #tar...
Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 1万+
【实操】Windows下安装Hadoop（手把手包成功安装）
进击大数据系列（二）：Hadoop 安装（HDFS+YARN+MapReduce）实战操作
民工哥的博客
06-10 1182
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了 Hadoop 基本概念与生态 相关的知识点，今天我将详细的为大家介绍 大数据 Hadoop 安装（HDFS+YARN+MapReduce）实战操作 相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！安装 Hadoop（HDFS+YARN）环境准备这里准备三台VM虚拟机下载最新的Hadoop安装包下载地址...
Hadoop的安装
Rainparjt的博客
06-18 187
安装前准备 创建一台虚拟机 创建过程不再展示，可以看之前的文章 关闭防火墙，设置开机自动关闭 修改主机名 修改hosts文件 设置免密登录 执行ssh-keygen 执行操作ssh-copy-id root@hadoop01—在这输入密码 Hadoop安装 首先进入home目录下创建software文件夹 将jdk和hadoop压缩包上传到software目录下并解压2个安装包 ...
史上最详细的hadoop安装教程（含坑点）
m0_67391377的博客
08-28 2万+
最近因为需要所以要安装hadoop，但是网上怎么说呢，就是很混乱，各种资料，各种安装方法，总体来说都不是很有效果，经过了3天的挣扎，收集资料，才完成了部署。输入jps看到上述四个即完成启动。...
vmware虚拟机下hadoop集群安装过程
07-23
资源名称：vmware虚拟机下hadoop集群安装过程内容简介： Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来...
Hadoop集群安装维护文档
03-02
本文档是Hadoop集群的运维文档，提供了Hadoop集群安装方法和部署，以及对集群的监控。Hadoop是开源的、分布式的数据存储和计算基础框架，其核心包含HDFS和MapReduce等。HBase是基于Hadoop的HDFS之上的分布式列存储...
Windows系统下安装Hadoop
热门推荐
想你依然心痛的博客
06-24 3万+
前面我们已经讲过了在，还没看过的可以先去了解一下安装流程。今天我们来看一下如何在Window下安装Hadoop，这其实和在Linux下的安装都是大同小异的。下面我们具体来看一下安装步骤。
hadoop安装（window10）
manmanlu2006的博客
08-20 3011
一、下载和winutils 1.下载：http://archive.apache.org/dist/hadoop/core/ 官网下载：http://hadoop.apache.org/releases.html （提供最新的几个版本） https://github.com/steveloughran/winutils（windows安装需要） 如果出现“Bandwidth limit exceeded”-限制下载，可以用迅雷下载，本人直接用迅雷下载； 或者参考：https://blog...
Hadoop HDFS 安装详细步骤
weixin_43528018的博客
07-03 1628
执行完后，在当前的目录下会出现一个名为 hadoop-2.7.5 的文件目录，这个目录就是 hadoop 的安装目录。1 无法http://meater/dfshealth.html 中显示 其他datenode 节点。到目前为止，HDFS 的配置已经全部结束，接下来我们启动 HDFS 集群，并且验证。检查 Hadopp 和 java 版本是否对应，在官网中查。pc： ~/.ssh/konwn_hosts 中。配置 Hadoop 依赖的 JAVA_HOME。在 hdfs-site.xml 配置文件最加。
HADOOP3.X-HA安装
wn_96的博客
08-23 942
HADOOP3.x-HA 安装教程
Hadoop下载安装(物理机)
RedStone618的博客
07-06 1831
将hadoop-2-7.4.tar.gz包上传到/root/export/software目录。
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
2401_84164617的博客
04-08 853
外链图片转存中…(img-7CJpwEiM-1712519919597)][外链图片转存中…(img-wqqfoXTX-1712519919597)]
【Hadoop】-Apache Hive使用语法与概念原理[15]
最新发布
weixin_63106307的博客
04-24 489
使用location关键字，可以指定数据库在HDFS的存储路径。/user/hive/warehouse内。数据库本质上就是在HDFS之上的文件夹。
docker 安装hadoop集群
09-28
要在Docker中安装Hadoop集群，首先需要创建一个Docker网络，并运行多个Hadoop容器。通过使用Docker命令"docker run"来创建容器，并指定网络、名称和要运行的映像。在每个Hadoop服务器中，还需要配置IP地址映射以实现...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值