参数配置
RunningShare
这个作者很懒,什么都没留下…
展开
-
Hive中压缩使用详解与性能分析
HIVE底层是hdfs和mapreduce实现存储和计算的。所以HIVE可以使用hadoop自带的InputFormat和Outputformat实现从不同的数据源读取文件和写出不同格式的文件到文件系统中。同理,HIVE也可以使用hadoop配置的压缩方法对中间结果或最...转载 2020-04-03 10:07:49 · 741 阅读 · 0 评论 -
Hadoop YARN相关配置参数剖析(1)—RM与NM相关参数
注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。1. ResourceManager相关配置参数yarn.resourcemanager.address参数解释:ResourceManager对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。默认值:${yarn.res...转载 2019-07-18 19:34:16 · 197 阅读 · 0 评论 -
Hadoop与Spark常用配置参数总结
背景MapReduce和Spark对外提供了上百个配置参数,用户可以为作业定制这些参数以更快,更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。MapReduce重要配置参数1. 资源相关参数(1)mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际...转载 2019-07-18 19:39:18 · 211 阅读 · 0 评论 -
Yarn中内存和cpu参数配置调优的理解
Container是什么?Container就是一个yarn的java进程,在Mapreduce中的AM,MapTask,ReduceTask都作为Container在Yarn的框架上执行,你可以在RM的网页上【8088端口】看到Container的状态基础Yarn的ResourceManger(简称RM)通过逻辑上的队列分配内存,CPU等资源给application,默认情况下...转载 2019-09-04 10:40:00 · 2495 阅读 · 2 评论