大数据
文章平均质量分 91
石杉的架构笔记
多年互联网一线大厂架构经验倾囊相授,Java领域优秀创作者
展开
-
Hadoop中的契约监控机制,被惊艳到了
这篇文章给大家聊聊Hadoop在部署了大规模的集群场景下,大量客户端并发写数据的时候,文件契约监控算法的性能优化。原创 2022-08-13 16:58:36 · 264 阅读 · 0 评论 -
性能提升100倍!基于Hadoop的TB级大文件上传优化实践!
上一篇文章,我们聊了一下Hadoop中的NameNode里的edits log写机制。主要分析了edits log写入磁盘和网络的时候,是如何通过分段加锁以及双缓冲的机制,大幅度提升了多线程并发写edits log的吞吐量,从而支持高并发的访问。这篇文章,我们来看看,Hadoop的HDFS分布式文件系统的文件上传的性能优化。...原创 2022-08-12 19:21:18 · 356 阅读 · 0 评论 -
每秒上千次高并发访问,HDFS优雅的抗住了
上篇文章我们已经初步给大家解释了Hadoop HDFS的整体架构原理,相信大家都有了一定的认识和了解。本文我们来看看,如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据,此时NameNode该如何抗住?...原创 2022-08-11 20:48:36 · 546 阅读 · 0 评论 -
干掉几百行的大SQL,我用Hadoop
Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术。包括HDFS,YARN,MapReduce等等。有些朋友可能听说过Hadoop,但是却不太清楚他到底是个什么东西,这篇文章就用大白话给各位阐述一下。......原创 2022-08-10 18:16:45 · 477 阅读 · 0 评论