hive的变量传递设置

最新推荐文章于 2022-07-06 19:05:01 发布

孤独侠客123

最新推荐文章于 2022-07-06 19:05:01 发布

阅读量3.9k

点赞数 1

分类专栏：大数据文章标签： hive hue oozie

本文链接：https://blog.csdn.net/lonely7345/article/details/44915883

版权

当在Oozie workflow中执行Hive查询时，遇到Variable substitution depth too large异常。原因是Hive对变量替换的深度有限制，默认为40。通过在Hive查询语句前添加`set hive.variable.substitute.depth=100;`可以提升限制，从而解决问题。然而，Hue在执行Hive查询时使用beeswax，它会预先处理变量，避免了该问题的发生。

摘要由CSDN通过智能技术生成

hive的变量传递设置

今天同事在oozie的workflow中执行一个hive查询，但是直接就报异常：Variable substitution depth too large:40，从网上查询可知，可以确认是由于语句中使用了过多的变量导致，在hive以前的版本中，这个限制是写死的40个，查询Hive的最新的原代码，虽然判断的位置的提示信息已经变化，但是原理一样：

### org.apache.hadoop.hive.ql.parse.VariableSubstitution：

  public String substitute(HiveConf conf, String expr) {
    if (expr == null) {
      return expr;
    }
    if (HiveConf.getBoolVar(conf, ConfVars.HIVEVARIABLESUBSTITUTE)) {
      l4j.debug("Substitution is on: " + expr);
    } else {
      return expr;