hive mapper阶段报错beyond the ‘PHYSICAL‘ memory limit

报错内容如下
beyond the 'PHYSICAL' memory limit. Current usage: 9.7 GB of 8 GB physical memory used; 14.0 GB of 16.8 GB virtual memory used. Killing container.

经分析hive 执行过程，有3个job，stage-1使用17个mapper使用get_json_object函数处理数据job是执行成功的，处理的数据是一个json字符串。使用lateral view将json转成多列，json字符串总行数是3403397。

stage-3处理阶段只有1个mapper处理，通过日志发现执行过程是有失败重试的。

失败原因是单个container所需内存超过最大内存限制，json字符串中有两列数据是长字符，最大长度是505，初步定位原因是json被拆多列后，两列长字符占用较多内存。通过设置session客户端调大container内存后，hql执行成功。