Hadoop的HDFS的集群安装部署

最新推荐文章于 2024-05-09 12:12:50 发布
最新推荐文章于 2024-05-09 12:12:50 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49107940/article/details/132787883
版权

注意：主机名不要有/_等特殊的字符，不然后面会出问题。有问题可以看看第5点（问题）。

1、下载

1.1、去官网，点下载

下载地址：https://hadoop.apache.org/
在这里插入图片描述

1.2、选择下载的版本

1.2.1、最新版

在这里插入图片描述在这里插入图片描述

1.2.2、其他版本，我这里选择3.3.4

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

1.3、上传，解压

HDFS是主从模式，所以在node1节点安装即可

1.3.1、上传安装包node1节点

在这里插入图片描述

1.3.2、解压到/export/server下
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

在这里插入图片描述

1.3.3、构建软链接
ln -s /export/server/hadoop-3.3.4 hadoop

在这里插入图片描述

2、配置

配置HDFS集群，我们主要涉及到如下文件的修改：

  • workers： 配置从节点（DataNode）有哪些
  • hadoop-env.sh： 配置Hadoop的相关环境变量
  • core-site.xml： Hadoop核心配置文件
  • hdfs-site.xml： HDFS核心配置文件

这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中。

进入etc下的Hadoop目录

cd ./etc/hadoop

在这里插入图片描述

2.1、配置workers文件

2.1.1、进入Hadoop目录
cd ./etc/hadoop

在这里插入图片描述

2.1.2、编辑workers文件
vim workers

配置主机名
填入的bigdata_node1,2,3是三台主机的名称
表明集群记录了三个从节点（DataNode）
在这里插入图片描述

2.2、配置hadoop-env.sh文件

vim hadoop-env.sh

在这里插入图片描述
在这里插入图片描述

# 填入如下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
  • JAVA_HOME，指明JDK环境的位置在哪
  • HADOOP_HOME，指明Hadoop安装位置
  • HADOOP_CONF_DIR，指明Hadoop配置文件目录位置
  • HADOOP_LOG_DIR，指明Hadoop运行日志目录位置

2.3、配置core-site.xml文件

vim core-site.xml

在文件内部填入如下内容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata_node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

  • key：fs.defaultFS
    含义：HDFS文件系统的网络通讯路径

  • 值：hdfs://node1:8020
    协议为hdfs://
    namenode为bigdata_node1
    namenode通讯端口为8020

  • key：io.file.buffer.size
    含义：io操作文件缓冲区大小

  • 值：131072 bit

hdfs://bigdata_node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）。
表明DataNode将和node1的8020端口通讯，bigdata_node1是NameNode所在机器。
此配置固定了bigdata_node1必须启动NameNode进程。

在这里插入图片描述

2.4、配置hdfs-site.xml文件

vim hdfs-site.xml

# 在文件内部填入如下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>bigdata_node1,bigdata_node2,bigdata_node3</value>
  </property>
  
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

  • key：dfs.datanode.data.dir.perm
    含义：hdfs文件系统，默认创建的文件权限设置

  • 值：700，即：rwx------

  • key：dfs.namenode.name.dir
    含义：NameNode元数据的存储位置

  • 值：/data/nn，在bigdata_node1节点的/data/nn目录下

  • key：dfs.namenode.hosts
    含义：NameNode允许哪几个节点的DataNode连接（即允许加入集群）

  • 值：bigdata_node1,bigdata_node2,bigdata_node3这三台服务器被授权

  • key：dfs.blocksize
    含义：hdfs默认块大小

  • 值：268435456（256MB）

  • key：dfs.namenode.handler.count
    含义：namenode处理的并发线程数

  • 值：100，以100个并行度处理文件系统的管理任务

  • key：dfs.datanode.data.dir
    含义：从节点DataNode的数据存储目录

  • 值：/data/dn，即数据存放在bigdata_node1,bigdata_node2,bigdata_node3三台机器的/data/dn内
    在这里插入图片描述

2.5、根据下述2个配置项：

在这里插入图片描述
在这里插入图片描述

  • namenode数据存放bigdata_node1的/data/nn
  • datanode数据存放bigdata_node1,bigdata_node2,bigdata_node3的/data/dn

所以应该

  • 在bigdata_node1节点：
    mkdir -p /data/nn
    mkdir -p /data/dn
    在这里插入图片描述

  • 在bigdata_node2和bigdata_node3节点：
    mkdir -p /data/dn
    在这里插入图片描述在这里插入图片描述

2.6、分发Hadoop文件夹

已经基本完成Hadoop的配置操作，可以从bigdata_node1将hadoop安装文件夹远程复制到bigdata_node2、bigdata_node3。

在bigdata_node1执行如下命令

cd /export/server
scp -r hadoop-3.3.4 bigdata_node2:`pwd`/
scp -r hadoop-3.3.4 bigdata_node3:`pwd`/

在这里插入图片描述
在这里插入图片描述

2.7、为hadoop配置软链接

2.7.1、在bigdata_node2执行
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

在这里插入图片描述

2.7.2、在bigdata_node3执行
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

在这里插入图片描述

2.8、配置环境变量

2.8.1、添加配置

为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。

在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量。

vim /etc/profile

在/etc/profile文件底部追加如下内容

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

2.8.2、配置生效
source /etc/profile

在这里插入图片描述

三台服务器都要配置。

3、授权为hadoop用户

hadoop部署的准备工作基本完成。

为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务
所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户，并配置好了hadoop用户之间的免密登录。

以root身份，在bigdata_node1、bigdata_node2、bigdata_node3三台服务器上均执行如下命令

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

三台服务器都要。
在这里插入图片描述在这里插入图片描述

4、格式化，启动，访问

前期准备全部完成，现在对整个文件系统执行初始化。

4.1、格式化namenode

确保以hadoop用户执行

su hadoop

格式化namenode

hadoop namenode -format

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2、启动

一键启动hdfs集群

start-dfs.sh

在这里插入图片描述
一键关闭hdfs集群

stop-dfs.sh

如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行

/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

4.3、访问

  • 在本地系统配置host的文件，就可以直接使用域名访问。
    在这里插入图片描述

在这里插入图片描述

  • http://bigdatanode1:9870，即可查看到hdfs文件系统的管理网页。
    在这里插入图片描述
    在这里插入图片描述

5、问题

5.1、一键启动hdfs集群后，jps查看没有启动的服务

在这里插入图片描述

5.2、检查日志log

java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:232)
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:189)
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:169)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:766)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:792)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:578)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:718)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:738)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1020)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:995)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1769)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1834)
2023-09-11 00:28:53,873 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020

在这里插入图片描述

5.3、问题原因

说是我主机与端口不对

5.3.1、ping端口号
ping bigdata_node1
5.3.2、说是端口号没放开
telnet bigdata_node1 8020
5.3.3、自己的真实原因

主机使用的hostname不合法，修改为不包含着‘.’ ‘/’ '_'等非法字符的主机名。

5.3.4、修改主机名，并把之前的配置的主机名全部改了
hostnamectl set-hostname bigdatanode1

vim /etc/hosts

vim workers

vim core-site.xml

vim hdfs-site.xml

5.4、重启启动，成功

5.4.1、先格式化namenode
hadoop namenode -format
5.4.2、再启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

结束！！！！！！！
hy:33

						为什么害怕独处？因为人在独处的时候，总是会听到心灵深处的声音。
新征程，再出发
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群启动HDFS
BWone的博客
05-29 1156
压缩包下载地址：https://archive.apache.org/dist/hadoop/common/ 准备工作： 关闭防火墙 三台IP不同的虚拟机： 详情见：Linux修改IP地址 java环境（JDK1.7以上版本）： 详情见：Linux下安装JDK Zookeeper单机和集群： 详情见：手把手带你搭建Zookeeper单机和集群 有ssh服务并且可以免密登录： 详情见：Linux设置ssh免密登录   注：准备就绪后开始，分别在三台虚拟机上操作 创建文件夹： mkdir /usr/l
Hadoop集群搭建实验之HDFS联邦集群部署
weixin_43636211的博客
11-12 1185
什么是NameNode联邦（HDFS联邦，Hadoop联邦）？ 单个 NameNode 的集群架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程用于存放元数据的内存可能会达到上百 G，NameNode 成为了性能瓶颈。为了解决NameNode内存不足导致无法存放更多元数据的瓶颈，提出了 NameNode 的水平扩展方案： HDFS Federat...
Hadoop HDFS 安装详细步骤
weixin_43528018的博客
07-03 1995
执行完后，在当前的目录下会出现一个名为 hadoop-2.7.5 的文件目录，这个目录就是 hadoop 的安装目录。1 无法http://meater/dfshealth.html 中显示 其他datenode 节点。到目前为止，HDFS 的配置已经全部结束，接下来我们启动 HDFS 集群，并且验证。检查 Hadopp 和 java 版本是否对应，在官网中查。pc： ~/.ssh/konwn_hosts 中。配置 Hadoop 依赖的 JAVA_HOME。在 hdfs-site.xml 配置文件最加。
大数据技术之Hadoop：HDFS集群安装篇（三）
路漫漫其修远兮，吾将上下而求索
08-03 2865
此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！该总结参考了黑马教程，感兴趣的也可以去观看相关视频。
2024年Hadoop大数据应用：Linux 部署 HDFS 分布式集群_linux操作hdfs，2024年最新12年高级工程师的“飞升之路”
最新发布
pasehelpme的博客
05-09 372
（需要修改环境配置文件hadoop-env.sh 申明JAVA安装路径和hadoop配置文件路径）datanode节点查看（node01）datanode节点查看（node02）datanode节点查看（node03）查看日志（新生成logs目录）（10）修改HDFS配置文件。（9）查看HDFS配置文件。（6）修改节点配置文件。（8）修改核心配置文件。（12）初始化hdfs。（14）格式化hdfs。查看报告，发现3个节点。（18）web页面验证。(6) 查看命令比较。
HDFS集群环境部署
qq_44286009的博客
11-15 308
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考配置HDFS集群，我们主要涉及到如下文件的修改：workers： 配置从节点（DataNode）有哪些hadoop-env.sh： 配置Hadoop的相关环境变量core-site.xml： Hadoop核心配置文件hdfs-site.xml： HDFS核心配置文件。
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2812
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
Hadoop集群安装部署
qq_48391148的博客
03-28 2887
hadoop集群的搭建
利用ansible 自动 安装Hadoop 集群
05-10
Hadoop作为大数据处理的核心组件，包括HDFS（Hadoop Distributed File System）和MapReduce等模块，构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible，我们可以简化这个过程...
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
【Hadoop HA 集群部署详解】 在大数据领域，Hadoop HA（高可用性）是确保服务持续可用的关键技术，特别是在生产环境中。HA通过在出现故障时将工作负载自动转移到备份节点，来保证系统的稳定性。本文将深入探讨...
Hadoop集群部署研究.docx
01-04
2.3 Hadoop 集群的测试与优化一旦集群部署完毕，进行基本的功能测试是非常重要的，如创建文件系统目录、上传数据、运行 MapReduce 示例任务等。这些操作有助于验证 Hadoop 集群的正确性和可用性。同时，根据实际需求...
Hadoop集群安装维护文档
03-02
本文档是Hadoop集群的运维文档，提供了Hadoop集群安装方法和部署，以及对集群的监控。Hadoop是开源的、分布式的数据存储和计算基础框架，其核心包含HDFS和MapReduce等。HBase是基于Hadoop的HDFS之上的分布式列存储...
大数据从入门到精通(超详细版)之HDFS安装部署 , 跟着部署 , 真的有手就行 !
tyuiop321的博客
09-06 1219
前面我们已经介绍了HDFS的入门知识与原理，对HDFS的使用场景已经有了一个初步的认识，现在我们开始动手实操HDFS的安装吧，HDFS安装好了，对后续学习大数据的其他组件也起到一个铺垫作用。
HDFS安装配置
m0_49293344的博客
01-20 2151
Hadoop 3.3.0版本提供了ARM版本的软件包，用户从项目官网上下载后只需要经过简单的配置，就可以完成部署，运行Wordcount，TeraSort等实例程序没有出现问题。wordcount是大数据领域的Hello World，运行一个统计文件中单词出现次数的程序，可以用来验证Hadoop集群的基本功能。经过上面的配置，以及能够在本地运行MapReduce任务了，为了完整的验证功能，我们还需要配置YARN。本文将记录实际安装步骤以及过程中发现的问题，安装完成后将运行几个常见的任务，验证功能性。
Hadoop学习笔记（HDP）-Part.12 安装HDFS
glisten0317的博客
12-01 1441
HDFS依赖libtirpc-devel，因此需要先安装libtirpc-devel。创建yml文件，/root/ansible/libtirpc.yml执行。
HDFS安装、配置以及基本使用
Hello World
01-16 1万+
HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的（本地文件系统的方式是基于系统调用的，当然也有类似NFS这样的网络文件系统可以使用和本地文件系统相同的访问方式，那是因为已经在内核中安装了NFS，而HDFS只是一个应用层的服务程序罢了）。但是这些命令看上去还是和常用的shell命令很类似的
hdfs安装
weixin_53589204的博客
03-29 811
/查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。4. 追加公钥到~/.ssh/authorized_keys文件中。
HDFS集群环境部署(超级详细！！)
热门推荐
菜菜的博客
11-02 1万+
对于更大规模的生产环境，可能需要考虑完全分布式模式，该模式涉及到在多台主机上部署Hadoop集群，并实现真正的分布式存储和计算
Hadoop HDFS安装与集群配置详解
Hadoop HDFS安装和管理是一篇关于Apache Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）的教程，主要关注在实际环境中进行HDFS的部署和配置。文章首先强调了环境准备的重要性，尤其是在处理相对路径...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值