Hive常见问题

1. 内存溢出
   虚拟内存溢出:

Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.【即虚拟内存溢出】；

方法一：提高yarn.nodemanager.vmem-pmem-ratio = 5或者更高；【推荐】

方法二：yarn.nodemanager.vmem-check-enabled =false ；关闭虚拟内存检查；不推荐

方法三：提高物理内存分配，相应的虚拟内存自然就多了，但是这样不是最优
物理内存溢出：

Current usage: 2.1gb of 2.0gb physical memory used; 3.6gb of 4.2gb virtual memory used. Killing container.【即物理内存溢出】；

方法一：mapreduce.map.memory.mb = 3GB以上，然后测试这个map/reduce task需要使用多少内存才够用，提高这个值直到不报错为止。

方法二：提高yarn.scheduler.minimum-allocation-mb = 3GB以上，同理【不推荐】

打开低版本hive报错：

ls: cannot access /app/local/spark-2.0.2-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory

修改hive启动文件

vim /app/local/hive/bin/hive
找到下面这一行：

add Spark assembly jar to the classpath

if [[ -n “SPARK_HOME” ]]
then

sparkAssemblyPath=ls{SPARK_HOME}/lib/spark-assembly-*.jar

sparkAssemblyPath=ls {SPARK_HOME}/jars/*.jar
CLASSPATH="{CLASSPATH}😒{sparkAssemblyPath}"
fi

更多请见：http://www.mark-to-win.com/tutorial/52289.html