Hadoop 3.x（入门搭建+安装调优）(二-HDFS)

最新推荐文章于 2022-10-10 21:06:52 发布
最新推荐文章于 2022-10-10 21:06:52 发布
阅读量1.5k 收藏 3
点赞数 2
分类专栏： K8S进阶 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42227818/article/details/122807519
版权

P39 HDFS课程介绍

在这里插入图片描述

P40 HDFS产生背景和定义

多台服务器存储其中 一部分 在这里插入图片描述
HDFS不能进行修改，上传来的文件只能追加
在这里插入图片描述

P41 HDFS优缺点

在这里插入图片描述
每个文件块占150字节，内存128G，算下来能存9亿个文件
在这里插入图片描述
在这里插入图片描述

P42 HDFS组成

在这里插入图片描述
namenode管理谁在什么位置，块的存储信息，处理客户端读写请求
在这里插入图片描述
在这里插入图片描述
2nn并非namenode热备，当namenode宕机后，并不能马上替换namenode服务。只是辅助namenode，分担工作量，定期 合并fsimage和edits

在这里插入图片描述
在这里插入图片描述

P43 HDFS文件块大小

在这里插入图片描述
默认配置在HDFS-default里，128M
在这里插入图片描述
寻址时间为传输时间的1%，就是最佳状态，为什么是128M，因为1秒能传输的数据，普通硬盘算下来差不多就是100MB/S,如果速度快，可以设置256M
在这里插入图片描述

在这里插入图片描述

P44 HDFS_shell 命令上传

在这里插入图片描述
命令跟linux相近
在这里插入图片描述
首先需要把集群启动起来
在这里插入图片描述
可以查看具体命令如何使用
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建一个文件
在这里插入图片描述
在这里插入图片描述
本地上传到HDFS，
在这里插入图片描述
move代表剪切，本地文件会消失
在这里插入图片描述
在这里插入图片描述
copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

在这里插入图片描述
在这里插入图片描述
put：等同于copyFromLocal，生产环境更习惯用put
在这里插入图片描述
在这里插入图片描述
appendToFile：追加一个文件到已经存在的文件末尾，HDFS不能随机修改，只能在文件末尾修改
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P45 HDFS_shell命令下载和直接操作

在这里插入图片描述
-copyToLocal：从HDFS拷贝到本地
在这里插入图片描述
get：等同于copyToLocal，生产环境更习惯用get，下载的时候可以改个名字

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
cat查看文件
在这里插入图片描述
-chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
在这里插入图片描述
mkdir：创建路径在这里插入图片描述
cp：从HDFS的一个路径拷贝到HDFS的另一个路径
在这里插入图片描述
mv：在HDFS目录中移动文件
在这里插入图片描述
tail：显示一个文件的末尾1kb的数据
在这里插入图片描述
-rm：删除文件或文件夹
在这里插入图片描述
-rm -r：递归删除目录及目录里面内容
在这里插入图片描述
-du统计文件夹的大小信息,27b大小，有三个副本，总大小就是81

在这里插入图片描述
**-setrep：设置HDFS中文件的副本数量，节点只有3个的时候，配置10个副本，那么后面加入节点会自动新增一个副本，3个节点最多3个副本 **
在这里插入图片描述
在这里插入图片描述
副本策略是 距离最近
在这里插入图片描述

P45-54

API操作

P55 HDFS写数据流程

HDFS客户端要传文件，需要是分布式的文件系统 类型，因为HDFS客户端有很多类型。
发送数据的时候，传送的是一个个packet对象，，另外还会从内存中拷贝一份 做ack机制，当节点 应答不成功 ，再从ack传一份过去
在这里插入图片描述

P56 HDFS节点距离计算

在判断数据写到具体哪个节点的时候，首要考虑节点距离再负载均衡
在这里插入图片描述
节点距离：两个节点到达最近的共同祖先的距离总和。
在这里插入图片描述
在这里插入图片描述

P57 机架感知（副本存储节点选择）

客户端要写数据，请求给namenode，namenode根据什么返回写多少个节点
在这里插入图片描述
机架感知（副本存储节点选择）
1）机架感知说明
（1）官方说明
http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication
在这里插入图片描述

（2）源码说明
Crtl + n 查找BlockPlacementPolicyDefault，在该类中查找chooseTargetInOrder方法。


选择目标节点
在这里插入图片描述
0代表第一个副本，选择本地
第二个选择remoterack
在这里插入图片描述
在这里插入图片描述

P58 HDFS读数据流程

HDFS客户端创建一个分布式文件系统对象和namenode交涉读取数据，namenode判断 权限，返回目标文件的 元数据信息。
客户端创建FSdataINPutstream流数据对象，去读数据，去距离最近的datanode1读数，假如datanode1负载已经满了，将请求转发给datanode2.
数据块是串行读，读完一块读 下一块
在这里插入图片描述

P59 namenode和secondary namenode工作机制

edit不修改，只追数据
在这里插入图片描述
镜像文件 数据+edits相关追加操作=内存，服务器一启动就会将这些数据加载到内存，服务器关机就 会将镜像文件和edits合并。
2nn也会定期合并数据
在这里插入图片描述
namenode下就有镜像和edits文件
在这里插入图片描述
2nn也有
在这里插入图片描述
在这里插入图片描述
namenode这个inprogress是记录新的操作，2nn是没有的
在这里插入图片描述

P61 HDFS_FsImage镜像 文件

在这里插入图片描述
在这里插入图片描述
namenode和datanode集群版本id是一致的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

<inode>
	<id>16386</id>
	<type>DIRECTORY</type>
	<name>user</name>
	<mtime>1512722284477</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>
<inode>
	<id>16387</id>
	<type>DIRECTORY</type>
	<name>atguigu</name>
	<mtime>1512790549080</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>
<inode>
	<id>16389</id>
	<type>FILE</type>
	<name>wc.input</name>
	<replication>3</replication>
	<mtime>1512722322219</mtime>
	<atime>1512722321610</atime>
	<perferredBlockSize>134217728</perferredBlockSize>
	<permission>atguigu:supergroup:rw-r--r--</permission>
	<blocks>
		<block>
			<id>1073741825</id>
			<genstamp>1001</genstamp>
			<numBytes>59</numBytes>
		</block>
	</blocks>
</inode >

这里 记录了所有文件存储的信息
在这里插入图片描述
父节点和子节点，仿照目录
在这里插入图片描述
namenode不会存储文件的块具体放在那里，而是datanode主动汇报
在这里插入图片描述

P61 HDFS_Edits编辑日志

在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
	<EDITS_VERSION>-63</EDITS_VERSION>
	<RECORD>
		<OPCODE>OP_START_LOG_SEGMENT</OPCODE>
		<DATA>
			<TXID>129</TXID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD</OPCODE>
		<DATA>
			<TXID>130</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>16407</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943607866</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
			<CLIENT_MACHINE>192.168.10.102</CLIENT_MACHINE>
			<OVERWRITE>true</OVERWRITE>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
			<RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
			<RPC_CALLID>0</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
		<DATA>
			<TXID>131</TXID>
			<BLOCK_ID>1073741839</BLOCK_ID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
		<DATA>
			<TXID>132</TXID>
			<GENSTAMPV2>1016</GENSTAMPV2>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD_BLOCK</OPCODE>
		<DATA>
			<TXID>133</TXID>
			<PATH>/hello7.txt</PATH>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>0</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<RPC_CLIENTID></RPC_CLIENTID>
			<RPC_CALLID>-2</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_CLOSE</OPCODE>
		<DATA>
			<TXID>134</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>0</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943608761</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME></CLIENT_NAME>
			<CLIENT_MACHINE></CLIENT_MACHINE>
			<OVERWRITE>false</OVERWRITE>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>25</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
		</DATA>
	</RECORD>
</EDITS >

在这里插入图片描述
查看 edits，只进行修改，不进行合并修改
在这里插入图片描述

P62 HDFS_检查点时间 设置

在这里插入图片描述
在这里插入图片描述

P63 HDFS_DN工作机制

meta存储的是块相关的校验和其他信息，上一个是真实的存储的数据
在这里插入图片描述
datanode启动后会主动 向namenode回报自己有哪些块信息，namenode收到消息，确认datanode注册成功，datanode每周期上报所有块信息，namenode每三秒发一次心跳
在这里插入图片描述
##
在这里插入图片描述
（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
（4）集群运行中可以安全加入和退出一些机器。

HDFS数据完整性

在这里插入图片描述
1个数加起来是偶数就为0，奇数就为1，传输过程中有可能数据出现问题
在这里插入图片描述
做一个简单文件上传到hdfs
在这里插入图片描述
下载到D盘，开启校验在这里插入图片描述
16机制查看，会有一个crc校验码
在这里插入图片描述
在这里插入图片描述

P65 HDFS掉线时限参数设置

在这里插入图片描述3秒一次心跳，10次正好30秒
在这里插入图片描述
把104关闭
在这里插入图片描述
仍然是绿色，显示正常运行，但是通信时间超过6秒了
在这里插入图片描述
超过10+30秒就挂掉了
在这里插入图片描述
恢复节点
在这里插入图片描述
现在节点就恢复了
在这里插入图片描述

P66 HDFS总结

在这里插入图片描述

48N6E
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第二课 大数据技术之Hadoop3.x的HDFS
QnHyn
06-10 269
hdfs
Hadoop——第二部份 Hadoop3.x之HDFS
Cyang的博客
01-12 225
Hadoop 第二部份 Hadoop3.x之HDFS
Hadoop 3.x（入门搭建+安装调优）(一)
qq_42227818的博客
02-07 3541
整体介绍 P2 大数据的概念 P3 大数据特点 P7 hadoop是什么 hadoop发展历史 P10 hadoop三大发行版本 hadoop优势 P12 hadoop 2.x和3.x区别 P13 HDFS架构概述 namenode，记录每个文件块存储位置，数据存储在什么位置，防止单节点故障，会有secondary namenode作为秘书 datanode，具体存储数据 P14 yarn架构概述 yarn是一个资源管理器，cpu，内存。 resourcemanag
Hadoop 3.x|第一天|搭建Hadoop环境
z754916067的博客
03-16 2028
目录前言SCP命令删除???文件安装JDK安装Hadoop 前言 看的教程是用VM虚拟机然后建了四个虚拟环境做集群，但我不喜欢往自己电脑里面放虚拟机，而且内存也不大，就直接买了一个腾讯云的服务器，整伪集群算了，不知道会不会差别太大… 因为是自己搞的伪集群，安装hadoop部分就不看视频了自己搞，但是版本都按照视频里的来。还好以前大数据课自己装过Hadoop。 SCP命令 上传文件：scp 文件位置 用户名@IP:位置 删除???文件 我的Xshell用rz命令老报错，甚至还上传了一些乱码文件在上面，有一个文
Hadoop3.x 之 HDFS 写数据流程 完整使用 (月薪过万 第六章)
小坏说后端
07-12 838
Hadoop3.x 之 HDFS 写数据流程 完整使用一、刨析文件的写入二、网络拓朴-节点距离计算三、机架感知（副本存储节点选择）四、HDFS 读数据流程 一、刨析文件的写入 二、网络拓朴-节点距离计算 三、机架感知（副本存储节点选择） 四、HDFS 读数据流程 ...
Hadoop-HDFS（十三） Hadoop 3.x 新特性( 了解)
奥迪的博客
01-19 403
13 Hadoop 3.x 新特性( 了解) 1、将默认的最低 jdk 从 7 升级到 8 2、纠删码可以将 3 倍副本占据的空间压缩到 1.5 倍，并保持 3 倍副本的容错。由于在读取数据的时候需要进行额外的计算，用于存储使用不频繁的数据 3、通过扩展 YARN 的资源类型，支持 CPU 和内存之外的其他资源，如 GPU、FPGA、软件许可证、本地存储等。 4、重写了 hadoop 中的 shell 脚本，修复了很多长期存在的 bug 并添加了新特性。有一些改进兼容老版本，有一些不兼容。 5、.
hadoop入门共21页.pdf.zip
最新发布
10-29
【Hadoop入门基础详解】 Hadoop，作为大数据处理的核心框架，是Apache软件基金会下的一个开源项目，主要用于分布式存储和计算。这份"hadoop入门共21页.pdf"文档，虽然只有短短21页，但应该涵盖了Hadoop的基础概念、...
Hadoop集群搭建共10页.pdf.zip
10-28
4. **Hadoop下载与安装**：从Apache官方网站获取最新稳定版本的Hadoop源码或二进制包，解压并配置相关参数。 5. **配置文件**：修改`core-site.xml`（核心配置）、`hdfs-site.xml`（HDFS配置）、`mapred-site.xml`...
hadoop-2.6.4.rar
09-04
在本压缩包“hadoop-2.6.4.rar”中，主要涵盖了在Ubuntu Server 14.04操作系统上安装Hadoop 2.6.4集群的详细过程。Hadoop是一个开源框架，由Apache软件基金会开发，主要用于分布式存储和处理大规模数据。以下是关于...
史上最全面的hadoop入门视频教程
10-21
第二章 Zookeeper操作和Hadoop环境搭建 第三章 HDFS操作 第四章 HDFS的JavaAPI操作和MapReduce入门 第五章 MapReduce的WordCount案例和分区 第六章 MapReduce的排序和序列化 第七章 MapReduce的运行机制和join操作 ...
Hadoop大数据从入门到精通
06-09
Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别...
hadoop 安装部署调优
开心一刻的专栏
11-08 123
一、集群安装      1.在所有的机器上建立相同的用户名，如：hadoop。                 $adduser hadoop                 $passwd hadoop 2.在/etc/hosts中添加机器名和IP               hadoop@hadoop23:~/hadoop/hadoop-1.2.1/conf$ cat /e...
hadoop HA配置与安装
qq_41214166的博客
06-18 466
在这次安装linux是的过程中出现很多错误：比如刚开始的时候建立四个虚拟机的时候，配置时把名字写成node 01中间写了空格，导致配置时名字读不完，导致全都是node，所以千万不要留空格，前面的步骤都比较简单，都是些小错误，稍微改一下就行，安装linux时也要注意一些小问题，我刚开始就是把ip设置成一样了，导致四台机子的ip都一样，配置文件完成之后也改不过来，所以这时可以打开机子的属性，自行手动改一下机子的ip还有要注意的就是在发送文件的过程中千万不要按control+c让他停下来不论代码冒出来的多少，时间
Hadoop--HDFS文件块大小
weixin_44976835的博客
03-26 2538
HDFS中的文件在物理上是分块（Block）存储的，块的大小是可以通过配置参数（dfs.blocksize）来规定的。一个文件块的默认大小是128M。 块大小的计算 如果寻址时间为10ms，即查找到目标block的时间为10ms 寻址时间为传输时间的1%，则为最佳状态。 因此传输时间=10ms/0.01=1000ms=1s 而目前磁盘传输速率普遍为100M/s 所以block大小为：1s*100M/S=100M 所以一般企业内定义的块大小为128M（机械硬盘）或256M（固态硬盘） 块大小的设置 为什么
Hadoop的默认块大小是多少？为什么要设置这么大？
qq_44864865的博客
06-16 3355
默认块大小： Hadoop2.7.2版本及之前默认64MB，Hadoop2.7.3版本及之后默认128M 块大小： HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置，而且NameNode需要大量内存来存储元数据，不可取。如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。 如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。块的大小：10m
Hadoop如何修改HDFS文件存储块大小
weixin_30634661的博客
04-10 232
一、 临时修改可以在执行上传文件命令时，显示地指定存储的块大小。1. 查看当前 HDFS文件块大小我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz 文件存储块大小。1.1 终端命令方式查看[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz5120...
hadoop之HDFS设置BLOCK块大小
weixin_40645193的博客
10-18 2533
hdfs-site.xml(每次修改后需要重启hdfs,并且分发所有节点) dfs.replication 3 dfs.blocksize 10 新文件的默认块大小(以字节为单位)。 你可以使用以下后缀(不区分大小写): k(千)，m(百万)，g(千)，t(翅目)，p(peta)， e(exa)指定大小(如128k, 512m, 1g等)， 或者提供完整的字节大小(例如128mb的134217728)。 注：这一段如果不加的话会报错 dfs.namenode.fs-limits.min-bl
HDFS常用命令[备忘]
深入一点
08-06 430
【HDFS常用命令】 一、appendToFile：将一个或多个目标文件append到hdfs文件中，目标文件可以为本地文件或者stdin。     使用方式：hdfs dfs -appendToFile &lt;localFile or -&gt; &lt;hdfs-path or hdfs URL&gt;     1) ./hdfs dfs -appendToFile /data.t...
Hadoop常用命令
qq_52421831的博客
10-10 991
Hadoop 常用命令

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值