Hadoop
文章平均质量分 91
石杉的架构笔记
多年互联网一线大厂架构经验倾囊相授,Java领域优秀创作者
展开
-
用这个算法能让大数据集群性能提升100倍!
这篇文章给大家聊聊Hadoop在部署了大规模的集群场景下,大量客户端并发写数据的时候,文件契约监控算法的性能优化。原创 2022-11-27 16:02:00 · 297 阅读 · 0 评论 -
头条面试官问: 100TB文件上传该怎么优化性能?
上一篇文章,我们聊了一下Hadoop中的NameNode里的edits log写机制,这篇文章,我们来看看Hadoop的HDFS分布式文件系统的文件上传的性能优化。原创 2022-11-23 17:25:04 · 355 阅读 · 0 评论 -
放几十亿数据的系统还能抗每秒上万并发,牛不牛?
本文我们来看看,如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据,此时NameNode该如何抗住?原创 2022-11-22 17:24:50 · 298 阅读 · 0 评论 -
兄弟们给我10分钟,带你了解一下大数据技术的入门原理和架构设计!
Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术。包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等。原创 2022-11-21 17:21:26 · 669 阅读 · 0 评论 -
换了个数据结构,一不小心把系统性能提升了10倍以上
如果你开发一个非常复杂而且有挑战的大型系统,那么必然会在系统中使用算法。同理,如果你可以将算法进行合理的优化,那么也可以将系统性能提升几十倍!原创 2022-09-27 17:57:15 · 338 阅读 · 0 评论 -
10亿级数据量的系统性能优化设计,被惊艳到了!
这篇文章,我们来聊一聊在十亿级的大数据量技术挑战下,世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的?原创 2022-09-25 18:19:59 · 548 阅读 · 0 评论 -
Hadoop中的契约监控机制,被惊艳到了
这篇文章给大家聊聊Hadoop在部署了大规模的集群场景下,大量客户端并发写数据的时候,文件契约监控算法的性能优化。原创 2022-08-13 16:58:36 · 257 阅读 · 0 评论 -
性能提升100倍!基于Hadoop的TB级大文件上传优化实践!
上一篇文章,我们聊了一下Hadoop中的NameNode里的edits log写机制。主要分析了edits log写入磁盘和网络的时候,是如何通过分段加锁以及双缓冲的机制,大幅度提升了多线程并发写edits log的吞吐量,从而支持高并发的访问。这篇文章,我们来看看,Hadoop的HDFS分布式文件系统的文件上传的性能优化。...原创 2022-08-12 19:21:18 · 343 阅读 · 0 评论 -
每秒上千次高并发访问,HDFS优雅的抗住了
上篇文章我们已经初步给大家解释了Hadoop HDFS的整体架构原理,相信大家都有了一定的认识和了解。本文我们来看看,如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据,此时NameNode该如何抗住?...原创 2022-08-11 20:48:36 · 532 阅读 · 0 评论 -
干掉几百行的大SQL,我用Hadoop
Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术。包括HDFS,YARN,MapReduce等等。有些朋友可能听说过Hadoop,但是却不太清楚他到底是个什么东西,这篇文章就用大白话给各位阐述一下。......原创 2022-08-10 18:16:45 · 450 阅读 · 0 评论