关注
分享
石杉的架构笔记
多年互联网一线大厂架构经验倾囊相授，Java领域优秀创作者
展开
-
Hadoop中的契约监控机制，被惊艳到了
这篇文章给大家聊聊Hadoop在部署了大规模的集群场景下，大量客户端并发写数据的时候，文件契约监控算法的性能优化。原创 2022-08-13 16:58:36 · 257 阅读 · 0 评论 -
性能提升100倍！基于Hadoop的TB级大文件上传优化实践！
上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。这篇文章，我们来看看，Hadoop的HDFS分布式文件系统的文件上传的性能优化。...原创 2022-08-12 19:21:18 · 343 阅读 · 0 评论 -
每秒上千次高并发访问，HDFS优雅的抗住了
上篇文章我们已经初步给大家解释了Hadoop HDFS的整体架构原理，相信大家都有了一定的认识和了解。本文我们来看看，如果大量客户端对NameNode发起高并发（比如每秒上千次）访问来修改元数据，此时NameNode该如何抗住？...原创 2022-08-11 20:48:36 · 532 阅读 · 0 评论 -
干掉几百行的大SQL，我用Hadoop
Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。包括HDFS,YARN,MapReduce等等。有些朋友可能听说过Hadoop，但是却不太清楚他到底是个什么东西，这篇文章就用大白话给各位阐述一下。......原创 2022-08-10 18:16:45 · 450 阅读 · 0 评论