Hadoop专栏
文章平均质量分 69
介绍Hadoop的基本架构和搭建Hadoop集群的步骤以及出现的一些问题。
Plus版小王
这个作者很懒,什么都没留下…
展开
-
Yarn资源调度器之Yarn的基础架构
ResourceManager:处理客户端请求,监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。Yarn主要由ResourceManager、NodeManager、Application、Container等组件构成。Container:Container是Yarn中的资源抽象,封装了某个节点的多维度资源。NodeManager:管理单个节点的资源,处理ResourceManager的命令。原创 2023-05-17 15:23:27 · 232 阅读 · 0 评论 -
MapReduce优化
在本文中介绍了Mapreduce-Map端是可以做那些方面的优化原创 2023-05-15 20:53:04 · 300 阅读 · 0 评论 -
Hadoop之MapReduced
首先数据先从Map端写入到环形缓冲区内,写出的数据会根据分区规则进去到指定的分区,并且同时在内存中进行一个分区排序。环形缓冲区默认大小为100M,当数据写入的容量达到环形缓冲区的80%,数据开始向磁盘进行溢写,如果数据很多的情况下,会进行Nci溢写,这样在磁盘中就会产生多个溢写文件,并且保证每个溢写文件在区内是有序的,接下来在磁盘中会将多次溢写的文件归并到一个文件中,归并的过程会根据相同分区进行排序,保证归并完的文件是有序的,到此shuffle过程在Map端就完成了。4.剩下的大小是否继续进行切分。原创 2023-05-15 20:52:32 · 86 阅读 · 0 评论 -
Hadoop之HDFS
介绍了hdfs架构的详细的工作流程原创 2023-05-08 19:54:13 · 154 阅读 · 0 评论 -
Hadoop 集群的搭建步骤
大数据集群搭建的一些步骤原创 2023-05-04 21:05:20 · 296 阅读 · 0 评论