第一章 HDFS-核心参数

最新推荐文章于 2024-06-25 10:33:50 发布
最新推荐文章于 2024-06-25 10:33:50 发布
阅读量252 收藏 1
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38358499/article/details/118114616
版权
本文详细介绍了NameNode在Hadoop2.x和3.x中的内存配置策略，包括计算方法和推荐配置，并提供了查看NameNode和DataNode内存占用的命令。同时，讨论了NameNode的心跳并发配置，建议根据集群规模调整`dfs.namenode.handler.count`。最后，阐述了HDFS回收站的启用、工作机制及配置，强调了回收站对于防止误删和数据备份的重要性。
摘要由CSDN通过智能技术生成

1.1 NameNode内存生产配置

  • NameNode内存计算：每个文件块大概占用150byte，以一台128G内存为例，能存储9.1一文件块（128G=128*1024M=128*1024*1024KB=128*1024*1024*1024Byte，128*1024*1024*1024/150Byte=9.1亿）；

  • Hadoop2.x 系列，配置 NameNode 内存：NameNode 内存默认 2000M，如果服务器内存 4G，NameNode 内存可以配置 3G。在hadoop-env.sh 文件中配置如下

    HADOOP_NAMENODE_OPTS=-Xmx3072m
  • Hadoop3.x 系列，配置 NameNode 内存
  1. hadoop-env.sh 中描述 Hadoop 的内存是动态分配的
  2. 查看 NameNode 占用内存：jmap -heap 进程号
  3. 查看
最低0.47元/天 解锁文章
琉璃百般枯
关注
专栏目录
HDFS中四个核心的设计
weixin_44319333的博客
03-26 413
HDFS四个核心的设计包括：心跳机制，安全模式，副本存放策略，负载均衡。 心跳机制： Hadoop是Master/Slave结构的，Master和Slave之间就是通过心跳机制进行通信的。 具体流程：Master启动时会启动一个IPC Server等待Slave的连接。当Slave启动的时候，会自动连接IPC Server，并且以3秒（默认）为间隔向Master通讯一次。 DataNode（即Sl...
大数据--hadoop生态--hdfs最全总结
数据挖掘+大数据研发+算法学习
10-13 489
目录 第二章：HDFS 2.1 hdfs主要组件及其功能 2.1.1 Hdfs的组成 2.1.2 SecondaryNameNode 2.2 hdfs数据存储原理 2.2.1 冗余数据保存 2.2.2 数据存取策略 2.2.3 HDFS块的大小 2.2.4 数据错误与恢复 2.3 hdfs读写数据过程 2.3.1 读数据过程 2.3.2 写数据过程 2.4 DataNode工作机制 2.5 hdfs高可用原理 2.6 hdfs常用命令 命令会导出到当前目录下面) 第二章：H
HDFS—核心参数(生产调优)
qq_27242695的博客
10-19 780
文章目录HDFS—核心参数(生产调优)1 NameNode 内存生产配置1.1 NameNode 内存计算1.2 Hadoop2.x 系列，配置 NameNode 内存1.3 Hadoop3.x 系列，配置 NameNode 内存1.3.1 相关描述及操作1.3.2 配置hadoop-env.sh HDFS—核心参数(生产调优) 1 NameNode 内存生产配置 1.1 NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128(G) *
第1章、HDFS_核心参数
weixin_45702895的博客
05-25 211
1.1 NameNode内存生产配置 1）NameNode内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte 2）Hadoop2.x系列，配置NameNode内存 NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在hadoop-env.sh 文件中配置如下。 HADOOP_
Hadoop 教程 - Hadoop调优之HDFS核心参数
最新发布
qq_33240556的博客
06-25 526
Hadoop Distributed File System (HDFS) 是 Hadoop 中的核心组件之一，负责数据存储和管理。为了确保HDFS高效、稳定地运行，调优其核心参数是至关重要的。
生产调优HDFS—核心参数
weixin_44966780的博客
12-05 785
生产调优HDFS—核心参数 NameNode 内存生产配置 1）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 2）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OP
HDFS-源码：应用HDFS的数据压缩和归档技术
HDFS 数据压缩和归档技术概述 ## 1.1 HDFS 数据压缩和归档技术的背景和意义 在大数据时代，海量数据的存储和处理成为挑战，HDFS作为分布式文件系统，数据管理变得尤为重要。数据压缩和归档技术的出现，可以有效...
hadoop 源码分析（一）HDFS nameNode 之 httpServer启动源码分析
wangxuelei036的博客
01-07 544
一、HDFS概述 基于hadoop2.6 HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。 特点：高容错和高吞吐量、易扩展、高可靠性 HDFS的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP） 这里一些基本的概念我们就不重复叙述了，毕竟都是看源码的人了，连基本操作都不会我肯定是不信的所以我们直接进入正题 二、nameNode 之 httpServer启动源码分析 源码分析是一个缓慢的过
第4章 Hadoop文件参数配置.pdf
11-27
core-site.xml 文件是 Hadoop 的核心配置文件，负责定义 Hadoop 的参数。读者需要了解 core-site.xml 文件的参数意义，并根据实验需求进行配置。 4.4. 实验任务四：配置 mapred-site.xml 文件参数 mapred-site.xml...
Hadoop 生产调优 (一) --------- HDFS 核心参数
在森林里麋了鹿
07-20 1063
Hadoop 生产调优之 HDFS 核心参数配置
转载：HDFS参数配置
筷子的博客
01-29 641
配置项 优化原理 推荐值 dfs.namenode.handler.count NameNode中用于处理RPC调用的线程数，默认为10。对于较大的集群和配置较好的服务器，可适当增加这个数值来提升NameNode RPC服务的并发度。 64 dfs.datanod...
hdfs中参数的配置
wyqwilliam的博客
09-11 2653
数据块的副本数 dfs.replication 3 2 页面修改 减少副本块可以节约存储空间   SequenceFile I/O 缓存区大小  io.file.buffer.size   131072（可以更大） core-site.xml 的群集范围高级配置代码段（安全阀） hadoop访问文件的IO操作都需要通过代码库，在...
查看Hadoop参数
风的专栏
09-03 8771
今天重新翻了一下Hadoop:The Definitive Guide中的
Hadoop调优手册(1)——HDFS核心参数
MartinGQ的博客
08-11 1683
以下配置均针对Hadoop3.x系列 1.NameNode、DataNode内存配置 配置文件：hadoop-env.sh 由hadoop-env.sh文件中的描述可知： （1）守护进程将在 _OPT参数中选择 Xmx设置作为Hadoop内存大小。 （2）Hadoop的内存默认是动态分配的：若在 _OPT参数中没有设置 Xmx，则JVM会根据服务器内存大小，自动为Hadoop分配内存。 # The maximum amount of heap to use (Java -Xmx). I..
Hadoop3教程（二十六）：（生产调优篇）NameNode核心参数配置与回收站的启用
经年藏殊的博客
10-21 1788
介绍了hadoop里部分核心参数的配置方式，如NameNode内存相关参数的配置、NameNode心跳并发的配置，并介绍了如何启用hadoop的回收站
Hadoop 3.x（生产调优手册）----【HDFS--核心参数】
是微风，是晚霞，是无可替代
10-20 564
NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3G。查看发现 hadoop102 上的 NameNode 和 DataNode 占用内存都是自动分配的，且相等。开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？回收站目录在 HDFS 集群中的路径：/user/fickler/.Trash/…修改完后，记得分发配置，重启服务。
HDFS一些参数的设置说明
热门推荐
victory0508的专栏
02-27 1万+
1. dfs.datanode.du.reserved 每块磁盘保留的空余空间，应预留一些给非hdfs文件使用，默认值为0，其单位为字节。那么实际可用于HDFS的存储空间就是；总存储空间-dfs.datanode.du.reserved。 如果此参数配置为10G，则df -h得出如下结果： Filesystem            Size  Used Avail Use%
NameNode 内存生产配置
weixin_45417821的博客
10-29 2036
1）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte 2）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m 3.
Hadoop调优第一篇
qq_50024279的博客
11-24 989
1.hdfs核心参数——回收站设置 第一步，在调优前我们需要对namenode与datanode的内存配置进行参数化设置。通过hadoop-env.sh查看namenode与datdanode的具体参数。相关参数设置如下 export HDFS_NAMENODE_OPTS=”-Dhadoop.security.logger=INFO,RFAS -Xmx1024m” export HDFS_DATANODE_OPTS=”-Dhadoop.security.logger=ERROR,RFAS -Xmx10
大数据从入门到实战 - 第2章 分布式文件系统HDFS
05-23
HDFS（Hadoop Distributed File System）是Apache Hadoop的核心组件之一，它是一个分布式文件系统，用于存储和处理大规模数据。HDFS 采用了一种 master/slave 的架构，其中 NameNode 是主节点，负责维护文件系统的命名空间和控制访问；DataNode 是从节点，负责实际存储数据。 HDFS 的设计目标是高容错性、高吞吐量和高可靠性。它通过数据的复制和分布式存储来实现容错性，通过数据的并行读写来实现高吞吐量，通过数据的检验和来保证数据的可靠性。 HDFS 的数据是以块（Block）的形式存储的，每个块的默认大小是 128MB，可以通过参数进行配置。在文件上传时，HDFS 会将文件分成若干个块，每个块会被复制到多个 DataNode 上，以实现数据的冗余存储和容错性。 除了基本的文件读写操作，HDFS 还提供了许多高级功能，如文件的快照、数据压缩、数据加密等。HDFS 也支持与其他 Hadoop 生态系统组件的集成，如 MapReduce、Hive、Pig 等。 在实际应用中，HDFS 可以用于存储各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。它可以应用于各种场景，如日志处理、图像处理、文本处理、机器学习等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值