Hive on spark
错误解决
1.
环境
Hive2.0.0
Hadoop-2.6.3
Spark-1.5
Scala2.10.4
2.
步骤
2.1.
将
spark
进行编译打包:
./make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.6.0 -
Dhadoop.version=2.6.0
–
Pyarn
2.2
将
spark-assembly-1.5.0-hadoop2.6.0
包放在
hive/lib
下
2.3
执行
hive
设置引擎为
spark
,
master
为
yarn-client
set hive.execution.engine=spark;
set spark.master=yarn-client;
2.4
运行
sql
:
select count(1) from xxx
报错:
2016-03-15T18:09:59,097 INFO [29c77f58-7758-4128-ae8c-f3d807fab415
29c77f58-7758-4128-ae8c-f3d807fab415 main]: status.SparkJobMonitor
(SessionState.java:printInfo(1007)) - jjz:RemoteSparkJob
Monitor.startMonitor RemoteJobState = FAILED
2016-03-15T18:09:59,097 ERROR [29c77f58-7758-4128-ae8c-f3d807fab415
29c77f58-7758-4128-ae8c-f3d807fab415 main]: status.SparkJobMonitor
(SessionState.java:printError(1016)) - Status: Failed
显示执行状态为失败。
没有其他信息。