生产上的NameNode堆内存估算

NameNode堆内存估算

在HDFS中,数据和元数据是分开存储的,数据文件被分割成若干个数据块,每一个数据块默认备份3份,然后分布式的存储在所有的DataNode上,元数据会常驻在NameNode的内存中,而且随着数据量的增加,在NameNode中内存的元数据的大小也会随着增加,那么这个时候对NameNode的内存的估算就变的非常的重要了。

这里说的内存就是指NameNode所在JVM的堆内存

NameNode内存数据结构非常丰富,除了Namespace tree和BlocksMap外,其实还包括如LeaseManager/SnapShotManager/CacheManager/NetworkTopology等管理的数据,但是这些管理数据占用的内存非常的小,我们在估算NameNode内存的时候一般都忽略这些数据所占内存大小。所以在NameNode内存中,主要的内存分别被Namespace tree和BlocksMap占有,那么我们只要估算Namespace tree和BlocksMap所占内存即可。

我们在Namespace tree中估算了假设HDFS目录和文件数分别为1亿,Block总量在1亿情况下,整个Namespace在JVM中内存使用情况:

Total(Directory) = (8 + 72 + 80)100M + 8num(total children)
Total(Files) = (8 + 72 + 56)100M + 8num(total blocks)
内存总大小是:Total(Directory) + Total(Files) = (8 + 72 + 80)100M + 8 * 200M + (8 + 72 + 56)100M + 8 * 100M = 31.25G

我们在BlocksMap中估算了假设集群中共1亿Block,NameNode可用内存空间固定大小128GB,则BlocksMap占用内存情况:

BlocksMap直接内存大小 + (Block直接内存大小 + BlockInfoContiguous直接内存大小) * 100M + LightWeightGSet直接内存大小
28字节 + (40字节 + 136字节) * 100M + 60字节 + (2%*128G) = 19.7475GB

那么综上,假设整个HDFS集群中目录和文件数分别为1亿,Block总量在1亿情况下,NameNode可用内存空间固定大小128GB,总共占用的内存为:

Namespace tree所占内存大小 + BlocksMap所占内存大小 = 31.25G + 19.7475GB = 50.9975GB

Files和Blocks

在NameNode内存其实主要的就是存储着两种类型的对象,一个是File对象,一个是Block对象。
从Namespace tree中我们可以得到:
一个File对象的大小大概为:8 + 72 + 56 = 136字节
一个Directory对象的大小大概为:8 + 72 + 80 = 160字节
从BlocksMap中我们可以得到:
一个Block对象的大小大概为:40字节 + 136字节 = 176字节

为了方便计算,我们现在假设不管是File对象还是Block对象,他们每一个占用的内存大约为150字节。

假设现在有一个192MB的文件,数据块的大小是默认的128M,那么这个192MB的文件会被切分成两个数据块,一个数据块的大小是128MB,另一个数据块的大小是64MB。就会有3个对象(1个File对象和2个Block对象)存在于NameNode的内存中,占用的内存的大小大约为 3 * 150字节 = 450字节。

大文件被切分成的数据块越少,那么占用NameNode的内存就越少。比如一个128MB大小文件被切分成一个数据块的时候占用的内存大约是300字节(一个File对象和一个Block对象);相反,128个1MB的文件在NameNode的内存中会产生256个对象(128个File对象 + 128个Block对象),这样的话则会占用256 * 150字节 = 38400字节的内存

Replication(备份)

我们知道HDFS的数据块的默认的备份数是3,我们需要知道的是备份数的设置会影响磁盘容量而不会影响NameNode中内存容量

如果我们现在设置备份数为1,数据块的大小是128MB。那么一个192MB的文件需要集群的192MB大小的磁盘容量和450字节的内存容量;假设有192TB的数据,这些数据包括了一百万文件和两百万数据块,那么需要集群的192TB磁盘容量和(一百万File对象 + 两百万Block对象) * 150字节 = 450MB的内存容量。

当我们设置备份数为默认备份数(即3)的时候,对于192TB的数据,需要集群的192 TB * 3 = 576 TB的磁盘容量,但是需要的NameNode中的内存容量还是450MB。所以说NameNode中的内存大小和备份数多少关系并不是太大

例子

接下来我们看下两个估算NameNode内存的例子,在看这两个例子之前,我们先记住一个经验值:每一百万个Block需要NameNode的1G内存。
上面的是一个经验值,你可以按照一百万个Block伴随着有一百万个文件和一百万个目录来进行估算下,不管怎么样,这个是一个比较靠谱的经验者,我们可以使用这个经验值进行估算我们的集群需要多少NameNode的内存

例子一

假设有1GB(1024MB)的数据,我们将它切分成不同数量文件和数据块(数据块大小为128M),然后分别来看下NameNode需要消耗多少内存:
一个 1GB 的文件
1个File对象
8个Block对象(1024MB / 128M)
Total = 9个对象 * 150字节 = 1350 bytes

8个文件,每个文件128MB
8个File对象
8个Block对象
Total = 16个对象 * 150字节 = 2400字节

1024个1MB的文件
1024个File对象
1024个Block对象
Total = 2048个对象 * 150字节 = 307200字节

例子二

在这个例子中,我们假设有两个HDFS集群,两个集群的总磁盘容量都是4800 TB。其中集群A的数据块的备份数设置为1,集群B的数据块的备份数设置为3;两个集群的数据块大小都是128M。那么两个集群的NameNode分别需要的最大的堆内存是多少呢?
集群A:200台主机,每台主机的磁盘容量是24 TB,总共的磁盘容量大小是4800 TB
数据块大小是128M,备份数是1

集群的磁盘容量:200 * 24,000,000 MB = 4,800,000,000 MB (4800 TB)
每一个数据块需要的磁盘容量是:128 MB per block * 1 = 128 MB
集群可以容纳的数据块的数量:4,800,000,000 MB / 128 MB = 36,000,000 blocks
我们上面提到,一般情况下,一百万的数据块需要1G的内存,那么36,000,000的数据块就需要36GB的内存

集群B:200台主机,每台主机的磁盘容量是24 TB,总共的磁盘容量大小是4800 TB
数据块大小是128M,备份数是3

集群的磁盘容量:200 * 24,000,000 MB = 4,800,000,000 MB (4800 TB)
每一个数据块需要的磁盘容量是:128 MB per block * 3 = 384 MB
集群可以容纳的数据块的数量:4,800,000,000 MB / 384 MB = 12,000,000 blocks
一般情况下,一百万的数据块需要1G的内存,那么12,000,000的数据块就需要12GB的内存

集群A和集群B的磁盘存储容量都是一样的,但是集群B因为备份数的增加,使得可以存储的数据块的数量变少了,所以集群B的NameNode需要的内存相应的也变小了。

©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页