- 内存溢出
虚拟内存溢出:
Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.【即虚拟内存溢出】;
方法一:提高yarn.nodemanager.vmem-pmem-ratio = 5或者更高;【推荐】
方法二:yarn.nodemanager.vmem-check-enabled =false ;关闭虚拟内存检查;不推荐
方法三:提高物理内存分配,相应的虚拟内存自然就多了,但是这样不是最优
物理内存溢出:
Current usage: 2.1gb of 2.0gb physical memory used; 3.6gb of 4.2gb virtual memory used. Killing container.【即物理内存溢出】;
方法一:mapreduce.map.memory.mb = 3GB以上,然后测试这个map/reduce task需要使用多少内存才够用,提高这个值直到不报错为止。
方法二:提高yarn.scheduler.minimum-allocation-mb = 3GB以上,同理【不推荐】
打开低版本hive报错:
ls: cannot access /app/local/spark-2.0.2-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory
修改hive启动文件
vim /app/local/hive/bin/hive
找到下面这一行:
add Spark assembly jar to the classpath
if [[ -n “SPARK_HOME” ]]
then
sparkAssemblyPath=ls{SPARK_HOME}/lib/spark-assembly-*.jar
sparkAssemblyPath=ls {SPARK_HOME}/jars/*.jar
CLASSPATH="{CLASSPATH}😒{sparkAssemblyPath}"
fi