![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hdfs
文章平均质量分 96
Hdfs
李姓门徒
视思明,听思聪,色思温,貌思恭,言思忠,事思敬,疑思问,忿思难,见得思义。
多写、多记、多思考!
慢一点,再慢一点,慢就是快,少打错别字!
可以查看个人私人网站 https://www.dawnli.cn/
展开
-
深度优化Hadoop NameNode读写性能
在整个公司范围内,我们都在积极推行“降本增效”的理念。从开发角度出发,这意味着我们需要在负责的项目中寻找合适的优化点,通过提升性能来实现降低成本的目标。因此,我们开始考虑是否可以在HDFS上进行进一步的优化。结合在使用HDFS过程中遇到的性能瓶颈问题,我们逐步明确了接下来要实施的性能优化方案。原创 2024-05-17 18:19:08 · 1233 阅读 · 0 评论 -
深度优化Hadoop DataNode读写性能
需要深入研究Hadoop集群的存储节点并做相应的优化,减少新机型带来的性能压力。NameNode的优化可以参考(深度优化Hadoop NameNode读写性能)原创 2024-05-17 18:08:49 · 1066 阅读 · 0 评论 -
Hdfs小文件治理策略以及治理经验
小文件是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。如果处理不好,可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算因运而生的。为啥大数据开发都说小文件的治理重要,说HDFS 存储小文件效率低下,比如增加namenode负载等,降低访问效率等?究竟本质上为什么重要?以及如何从本质上剖析小文件,治理小文件呢?今天就带你走进小文件的世界。原创 2024-05-03 22:20:35 · 1257 阅读 · 0 评论 -
HDFS磁盘写满问题分析
探讨hdfs的datanode节点磁盘被写满的原因分析和相关规避方案。[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-03-18 12:29:11 · 1091 阅读 · 0 评论 -
HDFS的standby节点启动过慢原因分析以及应对策略
在hdfs的nn重启过程时,以standby的方式进行启动,其中当前节点的fsimage和active节点的editlog数量对启动时间起到关键性的影响。本问题探讨hdfs的active节点正常,当standby节点重启时重启过慢的原因分析以及应对的策略。原创 2024-01-27 09:00:00 · 1247 阅读 · 0 评论 -
HDFS节点故障的容错方案
本文主要探讨hdfs集群的高可用容错方案和容错能力的探讨。涉及NN、JN和DN相关组件,在出现单机故障时相关的容错方案。原创 2024-01-20 21:34:52 · 942 阅读 · 0 评论 -
HBase鉴权设计以及Kerberos鉴权方法
整理hbase的相关鉴权设计,分别从hbase内部组件视角和客户视角进行权限管理原创 2024-01-19 00:23:14 · 1205 阅读 · 0 评论 -
HDFS高可用架构涉及常用功能整理
整理日常hdfs使用过程中的hdfs相关问题原创 2024-01-09 17:07:37 · 855 阅读 · 0 评论 -
HDFS鉴权设计以及Kerberos鉴权方法
鉴权,分别由和组成因此对于某一个用户来说,通常情况下,需要完成和才能够满足一个完整的业务场景,因此通常将放在一起考量。本文探讨hdfs的鉴权常用的鉴权方式以及kerberos鉴权方式的相关方法。原创 2024-01-13 15:24:39 · 1106 阅读 · 0 评论 -
HDFS监控方法以及核心指标
整理日常工作中hdfs的监控方法和监控项,梳理核心指标原创 2024-01-11 14:35:56 · 1292 阅读 · 0 评论