hive不能count,inner

最近折腾hive和impala集成sentry后,tableas连接impala 后join一直报错如下：

与 Cloudera Hadoop 数据源“x___sql___ (product)”通信时出错。
连接错误: Tableau 无法连接到数据源。
[Cloudera][Hardy] (35) Error from server: error code: '2' error message: 'Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask'.

 

hive执行报错

rror while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

 

 

Error running query: TExecuteStatementResp(status=TStatus(errorCode=2, errorMessage=u'Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask', sqlState=u'08S01', infoMessages=[u'*org.apache.hive.service.cli.HiveSQLException:Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask:17:16', u'org.apache.hive.service.cli.operation.Operation:toSQLException:Operation.java:400', u'org.apache.hive.service.cli.operation.SQLOperation:runQuery:SQLOperation.java:238', u'org.apache.hive.service.cli.operation.SQLOperation:runInternal:SQLOperation.java:274', u'org.apache.hive.service.cli.operation.Operation:run:Operation.java:337', u'org.apache.hive.service.cli.session.HiveSessionImpl:executeStatementInternal:HiveSessionImpl.java:439', u'org.apache.hive.service.cli.session.HiveSessionImpl:executeStatement:HiveSessionImpl.java:405', u'org.apache.hive.service.cli.CLIService:executeStatement:CLIService.java:257', u'org.apache.hive.service.cli.thrift.ThriftCLIService:ExecuteStatement:ThriftCLIService.java:501', u'org.apache.hive.service.cli.thrift.TCLIService$Processor$ExecuteStatement:getResult:TCLIService.java:1313', u'org.apache.hive.service.cli.thrift.TCLIService$Processor$ExecuteStatement:getResult:TCLIService.java:1298', u'org.apache.thrift.ProcessFunction:process:ProcessFunction.java:39', u'org.apache.thrift.TBaseProcessor:process:TBaseProcessor.java:39', u'org.apache.hive.service.auth.TSetIpAddressProcessor:process:TSetIpAddressProcessor.java:56', u'org.apache.thrift.server.TThreadPoolServer$WorkerProcess:run:TThreadPoolServer.java:286', u'java.util.concurrent.ThreadPoolExecutor:runWorker:ThreadPoolExecutor.java:1149', u'java.util.concurrent.ThreadPoolExecutor$Worker:run:ThreadPoolExecutor.java:624', u'java.lang.Thread:run:Thread.java:748'], statusCode=3), operationHandle=None)

 

当时以为是驱动的问题，因为select * from都可以执行，后来想那就count(1)吧，发现同样是报错，这明显就是mr出问题了，查各种资料都不行，后来看yarn日志报错，发现是权限问题，日志如下：

明显没有权限，很奇怪，突然想到是不文件目录权限有问题，经排查发现目录权限如下：

后来直接把里yarn目录删除如下

 rm -rf  /data*/yarn/*/usercache/hive/

之后可以正常使用。

总结：根本没想到是系统文件权限的问题，有时候真的需要先查最不容易发生的问题，而不是执着的以为是hive的问题。