![](https://img-blog.csdnimg.cn/direct/bc916c754f914c848414cedbd2ebf495.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
HDFS参数解析
文章平均质量分 84
hdfs源码分析,hdfs参数分析。
2024.03 6945字
2024.04 6179字 合13124
zfpigpig
喜欢吃饭、睡觉、打dota~
展开
-
dfs.content-summary.limit详解
本文主要介绍hdfs dfs du命令相关的介绍,包括dfs.content-summary.limit和dfs.content-summary.sleep-microsec参数详解。原创 2024-04-28 07:30:00 · 553 阅读 · 0 评论 -
fs.trash.interval详解
回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中,回收站都扮演着重要的角色。临时存储删除的文件:当用户使用命令hdfs dfs -rm删除文件或文件夹时,这些文件并不是立即永久删除,而是被移动到Trash文件夹中。这使得用户有机会在需要时恢复这些文件。恢复误删文件:如果用户不小心删除了重要文件,可以通过Trash文件夹里面的数据恢复。设置删除文件保留时间:可以通过fs.trash.interval的值来这是删除保留时间,超过时间的会被回收线程删除。自定义回收线程频率。原创 2024-04-27 07:30:00 · 692 阅读 · 0 评论 -
HDFS安全认证参数详解
请先阅读HDFSRPC协议详解HDFSRPC安全认证Kerberos篇HDFSRPC安全认证Token篇HDFSRPC安全认证Token篇2,对整体的框架有一定的了解。原创 2024-04-18 07:30:00 · 816 阅读 · 0 评论 -
HDFS Lease详解
读写锁简介,现实中有许多写少读多的场景,在程序实现时就期望同一时间只能有一个写线程可以获取写锁,但是同时可以多个读线程可以获取读锁,于是java便有了ReentrantReadWriteLock。ReentrantReadWriteLock采用读写分离策略,允许多个线程可以同时获取读锁。后面文章中提及的读写锁就使用此种实现。HDFS被设计成Write-Once-Read-Many,即不支持并发写,这里的写不单单指数据写入,也包括创建,修改等。原创 2024-04-16 07:30:00 · 748 阅读 · 0 评论 -
HDFSRPC安全认证Token篇2
本文为HDFSRPC安全认证Token的补充。主要阐述Token的结构,Token相关RPC接口以及Token如何使用。原创 2024-04-11 07:30:00 · 669 阅读 · 0 评论 -
dfs.ls.limit详解
dfs.ls.limit主要用于查询目录下的子文件,子文件单次返回最大个数。默认值为1000。原创 2024-04-06 07:30:00 · 228 阅读 · 0 评论 -
HDFSRPC通信框架参数详解
请先阅读HDFSRPC通信框架详解,对整体框架有一定的了解。原创 2024-04-04 07:30:00 · 741 阅读 · 0 评论 -
HDFSRPC通信框架详解
rpc肯定依赖于socket通信,并且使用的是java NIO。读者最好对nio有一定的了解,文章中不会对相关知识作过多的介绍。还有本文中涉及到的代码大部分都是作者都整理过的,会和server源码有些许区别。原创 2024-03-26 19:32:25 · 1129 阅读 · 0 评论 -
HDFSRPC安全认证Token篇
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Token相关的实现。原创 2024-03-22 07:30:00 · 1732 阅读 · 1 评论 -
HDFSRPC安全认证Kerberos篇
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。原创 2024-03-19 07:30:00 · 890 阅读 · 1 评论 -
HDFSDATANODE数据传输详解
本文主要阐述datanode中一个socket连接接收字节流的构成,帮助datanode的接收与处理数据。注意hadoop版本为3.1.1。原创 2024-03-17 07:30:00 · 1926 阅读 · 0 评论 -
HDFSRPC协议详解
本文主要阐述HDFSRPCserver端一个socket连接接收字节流的构成,帮助读者理解HDFSRPC协议。注意hadoop版本为3.1.1。原创 2024-03-14 07:30:00 · 1022 阅读 · 0 评论 -
dfs.permissions.superusergroup详解
此参数主要是配置hdfs的超级部门,默认值是supergroup。原创 2024-03-12 14:32:39 · 439 阅读 · 0 评论