yarn平台的内存分配和设置

写这个博客主要是本人在hive中使用mapreduce报出以下错误

Diagnostic Messages for this Task:
 Container[pid=1701,containerID=container_1502327755307_0001_01_000005] is running beyond virtual memory limits.
 Current usage: 133.2 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

由报出的错误可知：虚拟内存溢出
首先什么是物理内存？什么是虚拟内存？
个人的理解是：物理内存就是实际存在的内存，在实际电脑上即内存条的大小，对于单个任务来说即是分配个这个任务的内存空间；虚拟内存即进程运行时所有内存空间的总和，并且可能有一部分不在物理内存中，比如你的内存条是256M，你的程序却要创建一个2G的数据区，那么不是所有数据都能一起加载到内存（物理内存）中，势必有一部分数据要放到其他介质中（比如硬盘），待进程需要访问那部分数据时，在通过调度进入物理内存。有种说法也叫虚拟内存为内存交换区

解决这个问题，即调大虚拟内存

hive > set mapreduce.map.memory.mb;
mapreduce.map.memory.mb=2048
hive > set  mapreduce.reduce.memory.mb;
mapreduce.reduce.memory.mb=2048
hive > set yarn.nodemanager.vmem-pmem-ratio;
yarn.nodemanager.vmem-pmem