简单说明:这个错误是我搭建carbondata集群模式之后启动spark-shell的时候报的一个错误。(hdp2.6整合carbondata)
我通过查看yarn的resourcemanager的日志找到了错误信息如下:
后来经过我的查找我发现了一个解决办法,如下图:
上面所说的主要是:${hdp.version}这个变量找不到导致,有两种解决办法,一个是在hadoop.env.sh或marped-env.sh中添加:
export HADOOP_OPTS=”-Dhdp.version=XXX $HADOOP_OPTS” #where XXX is your HDP version(修改之后不好用)
另一个方式是修改mapred-site.xml里面的classpath,将${hdp.version}替换成实际的版本。(有效的方式)