![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
codenow.fun
不惑于自己,不惑于未来;找到自己的兴趣爱好,并不断坚持下去。
展开
-
YARN资源调度中的细节探究
1. Job submission从ResourceManager中获取一个Application ID 检查作业输出配置,计算输入分片 拷贝作业资源(job jar、配置文件、分片信息)到HDFS,以便后面任务的执行2. Job initializationResourceManager将作业递交给Scheduler(有很多调度算法,一般是根据优先级)Scheduler为作业分配一个Container,ResourceManager就加载一个application master ...原创 2020-09-01 23:55:50 · 482 阅读 · 0 评论 -
HDFS架构与可靠性
Block数据块基本存储单位,一般为128M(Hadoop1.x默认64M,Hadoop2.x默认128M)基本的读写单位,类似于磁盘的页,每次读写一块每个块默认复制三分存储到多台机器NameNode存储文件的metadata,运行时所有metadata数据都保存到内存,因此整个HDFS可存储的文件数受限于NameNode的内存大小 一个Block在NameNode中对应一条记录(一般一个block占用150字节),如果是大量的小文件,会消耗大量内存。同时map tas...原创 2020-09-07 23:23:34 · 313 阅读 · 0 评论 -
Hadoop大数据生态系统测试环境构建——基于CentOS7.8部署Hadoop3.1.4集群
1、准备三台测试机器并配置好网络和免密登录, 配置4G 双核 500G ,系统 CentOS Linux release 7.8.2003 (Core)(如果觉得麻烦可以在虚拟机上搭建) ip和hostname分别是: 192.168.236.128 Master.Hadoop 192.168.236.129 Slave1.Hadoop 192.168.236.130 Slave2.Hadoop我们可以先简单试下有没有问题...原创 2020-09-04 12:07:53 · 1190 阅读 · 0 评论