dfs.datanode.max.xcievers&dfs.datanode.max.transfer.threads介绍

最新推荐文章于 2024-04-13 17:46:39 发布
最新推荐文章于 2024-04-13 17:46:39 发布
阅读量9.8k 收藏 8
点赞数 1
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomson8975/article/details/47396403
版权
本文详细介绍了Hadoop中dfs.datanode.max.xcievers参数的意义，讨论了该参数设置过低可能导致的文件处理问题，以及线程机制的工作原理。还提供了一种估算该参数值的方法，特别是对于Hbase服务器的配置建议。
摘要由CSDN通过智能技术生成
前言：

         这篇文章主要是介绍这个参数是什么意思，他的作用和估值的参考方法。（参考自：http://blog.cloudera.com/blog/2012/03/hbase-hadoop-xceivers/）

         (dfs.datanode.max.xcievers和dfs.datanode.max.transfer.threads都是指的一个参数不过前者是hdp1.0的叫法)

dfs.datanode.max.xcievers设置得过低有什么后果？

                       首先概括的说这个参数是表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件

处理不过来，就会报下面这个异常：

最低0.47元/天 解锁文章
tomson8975
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【HDFS】dfs.datanode.max.transfer.threads 配置
Badme
12-03 396
【HDFS】dfs.datanode.max.transfer.threads 配置
hadoop配置文件详解系列（二）-hdfs-site.xml篇
关于代码的那些事
03-09 2346
上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 　 处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 d
HDFS一些参数的设置说明
victory0508的专栏
02-27 1万+
1. dfs.datanode.du.reserved 每块磁盘保留的空余空间，应预留一些给非hdfs文件使用，默认值为0，其单位为字节。那么实际可用于HDFS的存储空间就是；总存储空间-dfs.datanode.du.reserved。 如果此参数配置为10G，则df -h得出如下结果： Filesystem            Size  Used Avail Use%
dfs.datanode.max.xcievers
来啊 快活啊
08-21 8978
dfs.datanode.max.xcievers 256 dfs.datanode.max.xcievers 对于datanode来说，就如同linux上的文件句柄的限制，当datanode 上面的连接数操作配置中的设置时，datanode就会拒绝连接。 一般都会将此参数调的很大，40000+左右。
dfs.datanode.max.transfer.threads
weixin_30475039的博客
07-13 1056
An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <property> <name>dfs.datanode.max.transfer.threads</name> <value>4096</va...
dfs.datanode.max.xcievers参数导致hbase集群报错
weixin_30668887的博客
08-09 218
2013/08/09 转发自http://bkeep.blog.163.com/blog/static/123414290201272644422987/ 【案例】dfs.datanode.max.xcievers参数导致hbase-0.92集群报错 2012-08-26 16:44:22|分类：Hbase|字号订阅 场景: 15个data...
hadoop之 exceeds the limit of concurrent xcievers处理
weixin_33834910的博客
11-14 219
dfs.datanode.max.transfer.threads： 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers > 解释：Specifies the maximum number of threads to use for transferring data in and out of the...
阿龙学堂-hdfs存储数据倾斜
CD
05-30 454
hdfs存储数据倾斜
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 1938
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
高可用Hdfs&HBase配置实践
进一步有一步的欢喜
03-28 6007
首先介绍版本背景，hdfs为2.7.1，hbase为1.3.0，其它版本的配置可能存在变化。 HDFS相关配置： dfs.datanode.synconclose 设为true，当为false时，系统重启或断电时有可能数据丢失，默认值是false dfs.datanode.sync.behind.writes=FALSE 如果是true，写之后，DN将指示操作系统把队列中的数据全部立
namenode.LeaseExpiredException dfs.datanode.max.xcievers参数配置为8192
weixin_34357267的博客
11-06 264
hadoop集群有一个profile的mr任务总是failed报错如下：Error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /amos/warehouse/amos/profile/merg...
Hadoop中hdfs和Hbase Xceivers设置
kiwi的专栏
09-07 2764
近一段在研究Impala文档，在讲述Parquest table分区性能调优方面提到了Xceivers设置。因此将该参数英文资料整理翻译如下： 介绍 dfs.datanode.max.xcievers 参数对客户端有直接影响，他主要定义server端的线程数量，或者更详细说，数据连接的sockets。设置太小，当集群扩展时候，无法充分利用资源。以下部分帮助我们理解客户端和服务端工作机制
DataNode内部的调度线程
weixin_30654419的博客
08-07 190
首先DataNode自身就是一个Runnable的实现，也就是说DataNode是以一个单独的线程在运行着的。 DataXceiverServer，DataXceiver DataNode在Block的数据流读写方面都交给了DataXceiverServer，DataXceiverServer也是运行在一个单独的线程当中，在主循环当中阻塞监听dfs.datanode.ad...
HDFS 参数调优
记录点点滴滴
05-26 2653
HDFS 参数调优NameNode 数据目录DataNode 数据目录数据块的副本数数据块大小HDFS 做均衡时使用的最大带宽磁盘可损坏数数据传输连接数NameNode 处理 RPC 调用的线程数NameNode 处理 DataNode 上报数据块和心跳的线程数DataNode 处理 RPC 调用的线程数DataNode 最大传输线程数读写数据时的缓存大小冗余数据块删除新增块延迟汇报增大同时打开的文件描述符和网络连接上限 NameNode 数据目录 本地文件系统路径，决定 NN 在何处存放 fsimage
Hadoop参数调优，性能优化。
东城庞太师
05-26 1750
Hadoop参数调优 一、 hdfs-site.xml 配置文件 1、 dfs.blocksize 参数：hadoop文件块大小 描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。 可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)， 或者以字节为单位提供完整的大小。 2、 dfs.namenode.handler.count 参数：namenode的
HDFS Balance调优参数设置
最新发布
u011250186的博客
04-13 167
HDFS Balance调优参数设置
Hadoop 调优之 HDFS 调优篇
热门推荐
Shockang的博客
07-06 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 姊妹篇 Hadoop 调优之 Linux 操作系统调优篇 Hadoop 调优之 MapReduce 调优篇 Hadoop 调优之 YARN 调优篇 Hive 如何进行企业级调优？ 正文 1. hdfs-site.xml <propertv> <name>dfs.block.si
dfs.datanode.data.dir删除一个
09-04
当你删除一个dfs.datanode.data.dir目录时会有以下的步骤和注意事项： 1. 关闭Hadoop集群中所有的DataNode节点。可以使用命令"stop-dfs.sh"来停止所有的DataNode节点。这一步很重要，因为在删除目录之前，必须确保...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值