大数据
文章平均质量分 90
sgpd
这个作者很懒,什么都没留下…
展开
-
Hadoop(Yarn)
Hadoop(Yarn) 第1章 Yarn资源调度器 思考: 1)如何管理集群资源? 2)如何给任务合理分配资源? Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.1 Yarn基础架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 1.2 Yarn工作机制 (1)MR程序提交到客户端所在的节点原创 2022-02-27 21:49:41 · 196 阅读 · 0 评论 -
大数据技术之Hadoop(生产调优手册)
大数据技术之Hadoop(生产调优手册) 第1章 HDFS—核心参数 1.1 NameNode内存生产配置 1)NameNode内存计算 每个文件块大概占用150byte,一台服务器128G内存为例,能存储多少文件块呢? 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿 G MB KB Byte 2)Hadoop2.x系列,配置NameNode内存 NameNode内存默认2000m,如果服务器内存4G,NameNode内存可以配置3g。在hadoop-env.sh原创 2022-02-27 21:21:44 · 459 阅读 · 0 评论