这次遇到的坑有点儿玄学。。。。也许是我用的sqoop和hive版本有问题,反正用其他方法解决了
在终端中运行的语句:
语句并没有问题
一开始遇到的情况是这样的:
map跑完了100%但是reduce跑都没跑就结束了。。我就很诧异啊
看了hive的日志文件(如果没有修改过,路径就是/tmp/{username}/hive.log,我的用户是root所以路径是/tmp/root/hive.log);
发现爆出了:
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
解决方案就是从hive目录/lib中把对应的jar放到sqoop的lib中;
但是让人惊喜的是。。放完一个又来一个。
然后一气之下。。把hive/lib下的所有jar放到了sqoop/lib下
cp $HIVE_HOME/lib/* $SQOOP_HOME/lib
再次运行sqoop的语句总算比较好了,但是居然出现
hive SemanticException [Error 10072]: Database d