hive streaming java_hive streaming 使用的时候的一些心得

最新推荐文章于 2024-06-15 15:16:04 发布

韩大贫不想出名

最新推荐文章于 2024-06-15 15:16:04 发布

阅读量136

点赞数

文章标签： hive streaming java

本文链接：https://blog.csdn.net/weixin_29012765/article/details/114103877

版权

hive streaming 报错的解决方案：

1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using 'python cc.py' as (e,f) from table,分解成：select a,b,c,d from table ，然后执行：

hive -e "select a,b,c,d from table" | python cc.py,这样如果是语法有问题的话就会检查出来。

2、查看是否是编码问题：如果你的sql中要使用：using “cc.py” 那么如果python脚本有编码问题的话，就会无法执行并报错。监测是否有问题的方法是：chmod 777 cc.py，然后用./cc.py执行脚本，如果报错，那么sql中肯定也报错，解决方法就是用 using “python cc.py”

3、如果你的集群配置了日志收集，那么查看问题就方便多了，直接去执行sql的hdfs 上面的application目录下面查看就可以。

4、在python 脚本中加上 import traceback ；

except Exception,e:

print traceback.format_exc()