HDFS简介与部署以及故障排错(超简单)

已于 2024-03-28 14:16:13 修改
阅读量675 收藏 19
点赞数 26
分类专栏： 大数据 文章标签： hdfs hadoop 大数据
于 2024-03-05 18:51:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bacawa/article/details/136482605
版权

文章目录

一、HDFS介绍

1、简介

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。

  • HDFS是一个高度容错性的系统，适合部署在廉价的机器上；
  • HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；
  • HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

2、结构模型

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的，在Hadoop2.2以上版本已经实现多个NameNode的配置。

NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据。HDFS支持文件形式的数据。

从内部来看，文件被分成若干个数据块，这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间，如打开、关闭、重命名文件或目录等，也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写，并在NameNode的统一调度下进行数据库的创建、删除和复制工作。NameNode是所有HDFS元数据的管理者，用户真实数据永远不会经过NameNode节点。
在这里插入图片描述

3、文件写入过程

  1. Client向NameNode发起文件写入的请求；

  2. NameNode根据文件大小和文件块配置情况，返回给Client它管理的DataNode的信息；

  3. Client将文件划分为多个block，根据DataNode的地址，按顺序将block写入DataNode块中。

4、文件读取过程

  1. Client向NameNode发起读取文件的请求；

  2. NameNode返回文件存储的DataNode信息；

  3. Client读取文件信息。

5、文件块的存放

结构模型(本文1.2 章节)中的图例中 Block表示一个文件的一部分，即HDFS会将文件拆成多个块存储。

  • 一个Block会有三份备份，一份在NameNode指定的DateNode上， 一份放在与指定的DataNode不在同一台机器的DataNode上， 一份放在指定的DataNode在同一Rack上的DataNode上；
  • 备份的目的是为了数据安全，采用这种方式是为了考虑到同一Rack失败的情况，以及不同数据拷贝带来的性能的问题。

HDFS的设计是用于支持大文件的。这些程序仅写一次数据，一次或多次读数据请求，并且这些读操作要求满足流式传输速度。HDFS支持文件的一次写多次读操作。HDFS中典型的块大小是64MB，一个HDFS文件可以被切分成多个64MB大小的块，如果需要，每一个块可以分布在不同的数据节点上。默认块的大小是128M

HDFS是设计来存储和管理大数据的，因此典型的HDFS块大小明显比平时我们看到的传统文件系统块大得多，块大小的设置用来将大文件切割成一个数据块，再将这些数据块分发到集群上，

例如集群的块大小设置为64MB,一个128MB的文件上传到HDFS上，HDFS会将这个文件切分成2(128/64)个数据块，再将这两块数据分发到集群的数据节点上。

设置块大小：打开 hdfs-site.xml，(在hadoop安装目录下的etc文件夹里)
操作步骤：设置 hdfs-site.xml下面的属性值:

<property>
	<name>dfs.block.size</name>
	<value>134217728</value>    --修改为128M
	<description>Block size</description>
</property>

hdfs-site.xml是HDFS的配置文件，修改hdfs-site.xml配置文件的dfs.block.size属性值就会改变上传到HDFS所有文件的默认块大小。修改这个值并不会对HDFS上现存的任何文件的块大小产生影响，只会改变新上传文件的块大小。

6、存储空间管理机制

6.1 文件删除和恢复删除

当一个文件被用户或程序删除时，它并没有立即从HDFS中删除。HDFS将它重新命名后转存到/trash目录下，这个文件只要还在/trash目录下保留就可以重新快速恢复。文件在/trash中存放的时间是可配置的。存储时间超时后，名字节点就将目标文件从命名空间中删除，同时此文件关联的所有文件块都将被释放。注意，用户删除文件的时间和HDFS系统回收空闲存储之间的时间间隔是可以估计的。

删除一个文件之后，只要它还在/trash目录下，用户就可以恢复删除一个文件。如果一个用户希望恢复删除他已经删除的文件，可以查找/trash目录获得这个文件。/trash目录仅保存最新版本的删除文件。/trash目录也像其他目录一样，只有一个特殊的功能，HDFS采用一个特定的策略去自动地删除这个目录里的文件，当前默认的策略是删除在此目录存放超过6小时的文件。以后这个策略将由一个定义好的接口来配置。

6.2 复制因子配置

当文件的复制因子减少了，NameNode 节点选择删除多余的副本，下一次的心跳包的回复就会将此信息传递给 DataNode 节点。然后，DataNode节点移除相应的块，对应的空闲空间将回归到集群中，需要注意的就是，在setReplication函数调用后和集群空闲空间更新之间会有一段时间延迟。

6.3 文件命名空间

HDFS支持传统的继承式的文件组织结构。

  • 一个用户或一个程序可以创建目录，存储文件到很多目录之中。
  • 文件系统的命名空间层次和其他的文件系统相似。可以创建、移动文件，将文件从一个目录移动到另外一个，或重命名。
  • HDFS还没有实现用户的配额和访问控制。
  • HDFS还不支持硬链接和软链接。然而，HDFS结构不排斥在将来实现这些功能。

NameNode 节点维护文件系统的命名空间，任何文件命名空间的改变和或属性都被 NameNode 节点记录。应用程序可以指定文件的副本数，文件的副本数被称作文件的复制因子，这些信息由 NameNode 节点来负责存储。

6.4 数据复制机制

默认一个文件被分成多块，且每块有默认3个备份。

HDFS设计成能可靠地在集群中大量机器之间存储大量的文件，它以块序列的形式存储文件。文件中除了最后一个块，其他块都有相同的大小。属于文件的块为了故障容错而被复制。块的大小和复制数是以文件为单位进行配置的，应用可以在文件创建时或者之后修改复制因子。HDFS中的文件是一次写的，并且任何时候都只有一个写操作。

NameNode 节点负责处理所有的块复制相关的决策。它周期性地接受集群中 DataNode 节点的心跳和块报告。一个心跳的到达表示这个DataNode节点是正常的。一个块报告包括该 DataNode 节点上所有块的列表。

二、环境搭建（单机版）

1、修改主机名

##修改主机名（可以自己修改）
hostnamectl set-hostname hadoop001

##查看主机名,进行验证
hostname

2、配置ssh免密登录

  • 先进入到~/.ssh/路径
 cd ~/.ssh/
  • 创建公钥/私钥
ssh-keygen -t rsa

按三下Enter键即可

  • 复制公钥id到hadoop001
ssh-copy-id hadoop001
  • 查看能否免密登录成功
ssh hadoop001

出现以下信息即成功：

[root@hadoop001 .ssh]# ssh hadoop001
Last login: Tue Mar  5 15:44:20 2024 from localhost

3、Hadoop安装

3.1 下载 Hadoop

## 下载Hadoop
[root@hadoop001 hdfs]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
## 解压
[root@hadoop001 hdfs]# tar -zxvf hadoop-3.3.6.tar.gz

3.2 配置环境变量（前提需要 java环境，自行安装）

##配置环境变量
[root@hadoop001 hdfs]# vim /etc/profile

增加以下内容，路径根据自己的环境适当修改

export HADOOP_HOME=/hdfs/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

##环境生效
[root@hadoop001 hdfs]# source /etc/profile
[root@hadoop001 hadoop]# hadoop version

在这里插入图片描述

3.3 配置HDFS

  • 配置 hadoop-env.sh
[root@hadoop001 hadoop]# pwd
/hdfs/hadoop-3.3.6/etc/hadoop
[root@hadoop001 hadoop]# vim hadoop-env.sh

找到对应配置项，配置java环境

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  • 配置 core-site.xml
    进入目录：hadoop-3.3.6/etc/hadoop 修改 core-site.xml 文件，并在中增加如下的内容。请仔细阅读代码块的注释。
 <!--
  1.配置默认采用的文件系统。
  （由于存储层和运算层松耦合，要为它们指定使用hadoop原生的分布式文件系统hdfs。
  value填入的是uri，参数是 分布式集群中主节点的地址 : 指定端口号）
  2.其中IP根据自己环境进行配置
 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://IP:9000/</value>
</property>

<!-- 
  配置hadoop的公共目录（指定hadoop进程运行中产生的数据存放的工作目录，NameNode、DataNode等就在本地工作目录下建子目录存放数据。
  但事实上在生产系统里，NameNode、DataNode等进程都应单独配置目录，而且配置的应该是磁盘挂载点，以方便挂载更多的磁盘扩展容量）
  /hdfs/data_hadoop路径需要提前建好
-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/hdfs/data_hadoop</value>
</property>
  • 配置 hdfs-site.xml
    提前建好 NameNode 和 DataNode 的数据目录
<!--## 副本备份的数量-->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>

<!-- #设置NameNode数据存储目录-->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/hdfs/namenode</value>
</property>

<!--#设置DataNode数据存储目录-->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/hdfs/datanode</value>
</property>


<!-- #这里在不加的话 hdfs的网站访问不了-->
<property>
	<name>dfs.http.address</name>
	<value>0.0.0.0:50070</value>
</property>

<!--#这里可以考虑取消写入权限限制否则只能通过命令hadoop fs -chmod 777 /soft/hadoop/warehouse/student 来增加针对某个目录的写权限-->

<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

3.4 启动Hadoop（命令都在sbin文件夹下）

  • 必须在启动前格式化HDFS中的数据（从命令上看是清除 NameNode 上存储的数据）
[root@hadoop001 sbin]# hadoop namenode -format
  • 配置启动脚本，增加如下内容 (如下图所示)
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

  • 启动HDFS服务
[root@hadoop001 sbin]# ./start-dfs.sh

查看服务启动情况
在这里插入图片描述
看到上图勾出的几个进程，说明服务已经启动成功，通过界面查看HDFS Web UI，注意替换自己的IP

http://IP:50070/dfshealth.html#tab-overview

在这里插入图片描述

三、出现问题及解决办法

1、错误一（没有为启动脚本配置用户）

在这里插入图片描述
解决办法： 出现这个错误，请确认下步骤 2.3.4 章节是不是执行。

2、错误二（没有配置ssh免密登录）

在这里插入图片描述

hadoop001 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

解决办法： 出现这个错误，说明 没有配置ssh免密登录 请确认下步骤2.2 章节是不是执行。

结束！

bacawa
关注
  • 26
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS简介
01-07
一、HDFS的简介 分布式文件系统 HDFS Hadoop Distributed FileSystem 基于流数据访问模式处理超大规模的文件 适合应用大规模的数据集上 HDFS的优点 1）处理超大规模的文件 2）处理结构化，半结构化，非结构化的数据 ...
单机搭建hadoop环境（包括hdfs、yarn、hive）
howard_shooter的博客
01-28 1450
然后，下载hadoop安装包，这个包就包括了hdfs服务器和yarn服务器的执行文件和配置脚本。首先，要配置好Java的JAVA_HOME和PATH（etc/hadoop/hadoop-env.sh里的JAVA_HOME要改为本机的JAVA_HOME），还是有ssh本机的免密码登录。etc/hadoop/hdfs-site.xml （dfs.namenode.name.dir 和 dfs.namenode.data.dir）是服务器上存储元数据和数据的目录。yarn服务器，yarn的前提是hdfs服务器，
HDFS单机部署
y5201h的博客
08-31 1519
一、概述   分布式文件系统是大型项目中不可缺少的模块，主要可以解决两类问题。一是服务分布式部署访问文件，二是大文件的存储。   HDFS是Hadoop两大核心(HDFS、MapReduce)之一，旨在解决大数据（文件）的存储问题。HDFS的设计思路是分块（Block）存储大文件，由Java编写。 二、部署   HDFS通常是集群方式部署。因其本身有文件管理的web页面，所以本人在CentOS上部署一个单点系统当网络文件传输管理器……以下是部署步骤。 安装配置JDK 略 下载安装Hadoop cd
大数据实战之HDFS单机配置
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
11-12 977
如果读者是刚接触大数据，那么在阅读本章前，请先阅读下上一篇文章《前戏》会比较容易理解。本章主要讲解如何配置HDFS。本文介绍了如何配置单机的HDFS，并介绍了在配置hdfs遇到了难题及解决方法。网上没有看到有类似的解决DataNode方法，希望本文能给遇到类似的问题的同仁有些启发。
大数据 - HDFS单机环境搭建（一）
永远sayYES的博客
09-02 1248
一、服务器 操作系统：CentOS Linux release 7.6.1810 (Core) 二、JAVA JDK1.8：oraclce官网下载jdk-8u261-linux-x64.tar.gz 命令行环境：配置/etc/profile命令行环境 export JAVA_HOME=/usr/local/java/jdk1.8.0_261 export PATH=$JAVA_HOME/bin:$PATH 三、HDFS 下载hadoop安装包，这里我下载的是hadoop2.10版本，https:/
HDFS单机版安装
http://www.onlyze.cn/
10-21 2965
一、 准备机器 机器编号 地址 端口 1 10.211.55.8 9000、50070、8088 二、 安装 学习地址http://www.roncoo.com/course/view/5a057438cc2a4231a8c245695faea238 1、 安装java环境         expo
Hadoop技术HDFS简介共10页.pdf.zip
11-21
Hadoop技术HDFS简介共10页.pdf.zip
02-HDFS安装部署及静态加密.pdf
06-02
HDFS安装部署及静态加密
HDFS原理、架构与特性介绍
03-02
本文主要讲述HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1、NameNode2、DataNode3、SencondaryNameNodeNamenode的目录结构：dfs.name.dir是hdfs-site.xml里配置的若干个目录组成的...
【HDFS篇08】NameNode故障处理1
08-04
2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） 3. 拷贝SecondaryNam
HDFS 单机搭建
王腾飞的博客
07-26 4963
HDFS 单机搭建标签 ： Java hadoop hdfs安装 请点击下载hadoop-2.6.4 解压到 /home/hdfs/hadoop useradd hdfs // 创建hdfs用户 passwd hdfs // 设置hdfs用户的登陆密码 su hdfs // 切换到hdfs用户登陆 cd ~ // 进入hdfs的家目录 rz // 上传windows本地的文件到此家目录 tar -
HDFS分布式文件系统单机版搭建
li12412414的博客
11-29 1739
前言  本文是搭建推荐系统的第二课：HDFS单机版搭建。因为如果搭建集群模式下的hdfs和yarn则占用资源较多，会影响到自己电脑的性能。 单机版HDFS搭建 目录 准备工作 下载安装hdfs 配置hafs 启动NameNode 启动secondary namenode 效果展示 准备工作 首先要搭建好sprk集群...
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2773
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
hadoop学习---sqoop学习记录
weixin_46164667的博客
05-02 384
譬如ID的范围是0-800,那么Sqoop默认运行4个进程,通过执行ISELECTMIN(id)，MAX(id) FROM emp找出id的范围,然后把4个任务的id设置范围是(0-200),(200-400)(400-600).(600-800)但请注意，这样做的前提是这些文件的结构和内容必须是一致的，即它们应该都是同一份数据的切片或者是完全相同结构的数据。6. 带有主键约束的mysql表，要注意导出的数据的主键约束的情况，不能重复。4. 导出时，mysql的表的字段数与hdfs上的列数可以不相同。
WPF基础应用
泰勒今天想展开的博客
05-02 546
Grid: Grid是最常用的布局容器之一，它允许你通过定义行和列以及对元素进行定位来进行布局。在Grid中，可以设置元素的边距来控制其与其他元素的距离。StackPanel: StackPanel按照单一方向（垂直或水平）堆叠其子元素。子元素的宽度或高度将取决于其内容，这使得它非常适合用来创建简单的列表或工具栏等。WrapPanel: WrapPanel允许子元素根据可用空间自动换行。当父容器的宽度被占满时，WrapPanel会自动将后续的元素放置到新的一行。DockPanel。
22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群
花&败
04-29 1063
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。
WPF之可翻转面板
lingxiao16888的博客
05-02 151
【代码】WPF之可翻转面板。
WPF之ToolTip提示
最新发布
qq_3517289697的博客
05-02 177
ToolTip控件在WPF担任着提示信息的位置，当鼠标悬停在某个标签上时ToolTip中的信息会显示，使用时将ToolTip放在某个标签内部或者设置某个标签的ToolTip属性。
如何确定hdfs的超级用户与超级用户组
06-09
在Hadoop中，超级用户是指拥有最高权限的用户，可以执行所有操作，包括对HDFS文件系统的管理。超级用户组则是具有与超级用户相同权限的用户组。 在Hadoop中，默认情况下，超级用户是“hdfs”，超级用户组是“supergroup”。 你可以通过以下步骤来确认Hadoop中的超级用户和超级用户组： 1. 进入Hadoop的配置文件目录，通常为$HADOOP_HOME/etc/hadoop/。 2. 打开hdfs-site.xml配置文件。 3. 查找以下属性配置： ``` <property> <name>dfs.permissions.superusergroup</name> <value>supergroup</value> </property> ``` 其中，dfs.permissions.superusergroup属性即为超级用户组。 4. 查找以下属性配置： ``` <property> <name>dfs.permissions.superuser</name> <value>hdfs</value> </property> ``` 其中，dfs.permissions.superuser属性即为超级用户。 如果你的配置文件中没有以上属性配置，则可以按照默认值来设置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值