【软件工程实践】Hive研究-Blog12

最新推荐文章于 2023-08-25 15:06:06 发布
最新推荐文章于 2023-08-25 15:06:06 发布
阅读量498 收藏
点赞数
文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45935878/article/details/121950538
版权

【软件工程实践】Hive研究-Blog12

2021SC@SDUSC

研究内容介绍

本人负责的是负责的是将查询块QB转换成逻辑查询计划（OP Tree）
如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中，也就是我的分析目标代码。我们在Blog9-11中，完成了对如下文件代码的解析：

  • BoundaryDef.java
  • PTFExpressionDef.java
  • OrderDef.java
  • OrderExpressionDef.java
  • PartitionDef.java
  • WindowTableFunctionDef.java
  • PartitionedTableFunctionDef.java

那么从本周开始，我们接着往下研究剩余的代码：

  • PTFInputDef.java
  • PTFQueryInputDef.java
  • ShapeDetails.java
  • WindowExpressionDef.java
  • WindowFrameDef.java

在这里插入图片描述

PTFInputDef.java文件代码解析

我们首先附上整个java文件代码。

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package org.apache.hadoop.hive.ql.plan.ptf;


import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.RowSchema;
import org.apache.hadoop.hive.ql.plan.Explain;

public abstract class PTFInputDef {
  private String expressionTreeString;
  private ShapeDetails outputShape;
  private String alias;

  public String getExpressionTreeString() {
    return expressionTreeString;
  }

  public void setExpressionTreeString(String expressionTreeString) {
    this.expressionTreeString = expressionTreeString;
  }

  public ShapeDetails getOutputShape() {
    return outputShape;
  }

  @Explain(displayName = "output shape")
  public String getOutputShapeExplain() {
    RowSchema schema = outputShape.getRr().getRowSchema();
    return StringUtils.join(schema.getSignature(), ", ");
  }

  public void setOutputShape(ShapeDetails outputShape) {
    this.outputShape = outputShape;
  }

  @Explain(displayName = "input alias")
  public String getAlias() {
    return alias;
  }
  public void setAlias(String alias) {
    this.alias = alias;
  }

  public abstract PTFInputDef getInput();
}

开始解析。

全局变量解析（1）

和往常一样，我们首先对导入的包进行解析，做足准备工作。我们首先来看一下导入的包：

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.RowSchema;
import org.apache.hadoop.hive.ql.plan.Explain;

org.apache.commons.lang.StringUtils导入包解析

和以前一样，我们在官网上查看API的官方解释：

在这里插入图片描述
但由于这个类中的方法以及变量过多，我们无法也无需全部截取页面放至本Blog中展示。我们给出官方连接，等待至我们需要使用到这个类中的内部变量以及内部方法时再去寻找对应内容即可。

org.apache.hadoop.hive.ql.exec.RowSchema导入包解析

和以前一样，我们在官网上查看API的官方解释：
在这里插入图片描述
我们不难发现，这个包是一个定义的类，其中并没有什么特别的方法，所有的方法都是getter与setter方法，因此我们才推测这个类是一个定义类，或者说是一个实体类，用于规定使用的对象的格式以及包含的内容，方便操作。我们等待至使用到其中的内部变量或者方法时再返回此处进行详细的代码分析工作。

org.apache.hadoop.hive.ql.plan.Explain导入包解析

这个包在上一个Blog中已经解析过了，我们这里直接引用。
在这里插入图片描述
至此，我们3个导入包全部介绍完毕。

全局变量解析（2）

我们来看一下有哪些全局变量：

  private String expressionTreeString;
  private ShapeDetails outputShape;
  private String alias;

首先对于第一个以及第三个变量，它们都是String类型的变量，这是很正常的类型，我们不做解析。对于第二个变量，它的类型为ShapeDetails类型。这是一个什么类型？我们从ptf文件夹中寻找，果然找到了这个类。
在这里插入图片描述
至此，我们PTFInputDef.java文件下的所有全局变量都解析完毕，下面我们开始正式的代码解析。

变量expressionTreeString的getter与setter方法

  public String getExpressionTreeString() {
    return expressionTreeString;
  }

  public void setExpressionTreeString(String expressionTreeString) {
    this.expressionTreeString = expressionTreeString;
  }

对于参数expressionTreeString的getter与setter方法，用于得到和设置expressionTreeString参数。

Explain设置（1）

  @Explain(displayName = "output shape")

这是一个什么样的语句？我们先来观看@Expain这个关键字。@Explain其实是在调用我们的导入包org.apache.hadoop.hive.ql.plan.Explain。而在这个包里，有着其string类型的displayName变量。前面的displayName = "output shape"语句是在将变量displayName的值设置为"output shape"。

方法getOutputShapeExplain（1）

  @Explain(displayName = "output shape")
  public String getOutputShapeExplain() {
    RowSchema schema = outputShape.getRr().getRowSchema();
    return StringUtils.join(schema.getSignature(), ", ");
  }

在方法的开头，先创建了一个RowSchema类型的变量schema 。然后将outputShape.getRr().getRowScheama()的返回值赋予给它。这个outputShape是什么变量？我们给出它的定义语句：private ShapeDetails outputShape;，也就是说后面的两个方法都是在ptf文件夹下的另一个类ShapeDetails.java中定义的。我们转到这个类中对方法getRr()以及getRowSchema()的详细代码中。

方法gerRr

  public RowResolver getRr() {
    return rr;
  }

可以看得出来，这是一个getter类型方法。那么这个rr是什么变量？我们找到其定义语句：transient RowResolver rr;.对于这个java关键字transient，我们已经在Blog9中已经解析解释过了，故不再冗余的进行分析，这里我们给出Blog9的地址。那么后面的RowResolver是一个什么样子的类？我们首先在ptf文件夹下寻找这个类的踪影，发现无法找到。我们再看一下导包的语句import org.apache.hadoop.hive.ql.parse.RowResolver;发现这是一个导入类型。

方法getRowSchema

显然，这是RowResolver的内部方法，我们直接来解org.apache.hadoop.hive.ql.parse.RowResolver导入包中的方法。

org.apache.hadoop.hive.ql.parse.RowResolver导入包解析

和以前一样，我们在官网上查看API的官方解释：
在这里插入图片描述
这里我们重点关注getRowSchema()方法。
在这里插入图片描述
显而易见，这是该类的内部变量的getter方法，用于返回一个类型为RowSchema的内部变量。

方法getOutputShapeExplain（2）

至此，我们的第一个语句RowSchema schema = outputShape.getRr().getRowSchema();已经解析完毕了。我们来看一下第二个语句：return StringUtils.join(schema.getSignature(), ", ")这里返回的是方法StringUtils.join(schema.getSignature(), ", ")的返回值。我们来看一下StringUtils.jon()这是一个什么样的方法。当然，我们得先了解参数的方法，也就是schema.getSignature()是一个什么类型的方法。

方法getSignature

显然，这是RowSchema类型的内部方法。我们来看一下这个方法的返回值是什么。
在这里插入图片描述
返回的是列表类型的变量，且列表中的元素类型为ColumnInfo类型。这个类型的变量由名字就可以看出其作用：返回列的信息。官方API对其的描述为：
Implementation for ColumnInfo which contains the internal name for the column (the one that is used by the operator to access the column) and the type (identified by a java class).

翻译成中文即为：
ColumnInfo 的实现，其中包含列的内部名称（运算符用于访问列的名称）和类型（由 java 类标识）。

方法getOutputShapeExplain（3）

回到源码中来，我们现在知道了schema.getSignature()是一个什么类型的方法了，接下来我们解析StringUtils.join()方法。

方法StringUtils.join

我们直接来看官方API对于该方法的描述以及返回值介绍。
在这里插入图片描述
对该方法的描述：将提供的数组的元素连接到一个包含提供的元素列表的字符串中。
方法的返回类型：String类型。

方法getOutputShapeExplain（4）

回到源码中来，我们现在知道了StringUtils.join()是一个什么类型的方法了。返回的是字符串的特定条件下的连接结果。

方法setOutputShape

  public void setOutputShape(ShapeDetails outputShape) {
    this.outputShape = outputShape;
  }

Explain设置（2）

  @Explain(displayName = "input alias")

这次的Expain设置则是将变量displayName的值设置为"input alias"。

参数alias的getter与setter方法

  @Explain(displayName = "input alias")
  public String getAlias() {
    return alias;
  }

  public void setAlias(String alias) {
    this.alias = alias;
  }

抽象函数getInput

  public abstract PTFInputDef getInput();

带有了java的关键字abstract。我们来看一下这个关键字的作用：

  • abstract 关键字可以修饰类或方法。
  • abstract 类可以扩展（增加子类），但不能直接实例化。
  • abstract 方法不在声明它的类中实现，但必须在某个子类中重写。

其中我们需要注意的点：

  • 采用 abstract 方法的类本来就是抽象类，并且必须声明为 abstract。
  • abstract 类不能实例化。
  • 仅当 abstract 类的子类实现其超类的所有 abstract 方法时，才能实例化 abstract类的子类。这种类称为具体类，以区别于 abstract 类。
  • 如果 abstract 类的子类没有实现其超类的所有 abstract 方法，该子类也是 abstract 类。
  • abstract 关键字不能应用于 static、private 或 final 方法，因为这些方法不能被重写，因此，不能在子类中实现。
  • final 类的方法都不能是 abstract，因为 final 类不能有子类。

故这个方法会在别处被实现。

至此，PTFInputDef.java文件代码我们已全部解析完毕，我们接着往下继续解析。

PTFQueryInputDef.java文件代码解析

我们首先附上整个java文件的源码。

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package org.apache.hadoop.hive.ql.plan.ptf;

import org.apache.hadoop.hive.ql.parse.PTFInvocationSpec.PTFQueryInputType;
import org.apache.hadoop.hive.ql.plan.Explain;
import org.apache.hadoop.hive.ql.plan.Explain.Level;

@Explain(displayName = "Input definition")
public class PTFQueryInputDef extends PTFInputDef {
  private String destination;
  private PTFQueryInputType type;

  @Explain(displayName = "destination")
  public String getDestination() {
    return destination;
  }

  public void setDestination(String destination) {
    this.destination = destination;
  }

  public PTFQueryInputType getType() {
    return type;
  }

  public void setType(PTFQueryInputType type) {
    this.type = type;
  }

  @Explain(displayName = "type")
  public String getTypeExplain() {
    return type.name();
  }

  @Override
  public PTFInputDef getInput() {
    return null;
  }
}

开始解析。

全局变量解析（1）

我们先来看一下导入的包：

import org.apache.hadoop.hive.ql.parse.PTFInvocationSpec.PTFQueryInputType;
import org.apache.hadoop.hive.ql.plan.Explain;
import org.apache.hadoop.hive.ql.plan.Explain.Level;

org.apache.hadoop.hive.ql.parse.PTFInvocationSpec.PTFQueryInputType导入包解析

和以前一样，我们在官网上查看API的官方解释：
在这里插入图片描述
这个类中包含了一个枚举型数组，其中这个枚举型数组包含了PTFCOMPONENT、SUBQUERY、TABLE、WINDOWING这些实例化对象。我们推测，这个类的对象引用时会用到这个枚举型数组内的实例化对象。其余的内部变量和方法等待至调用时我们再返回此处进行详细的代码解析。

org.apache.hadoop.hive.ql.plan.Explain导入包解析

我们在上面已经解析过这个包了，我们这里不再赘述。

org.apache.hadoop.hive.ql.plan.Explain.Level导入包解析

和以前一样，我们在官网上查看API的官方解释：
在这里插入图片描述
这个类中包含了一个枚举型数组，其中这个枚举型数组包含了DEFAULT、EXTENDED、USER这些实例化对象。我们推测，这个类的对象引用时会用到这个枚举型数组内的实例化对象。其余的内部变量和方法等待至调用时我们再返回此处进行详细的代码解析。

至此，导入的包全部解析完毕。

全局变量解析（2）

我们来看一下有哪些全局变量：

  private String destination;
  private PTFQueryInputType type;

对于第一个String类型的变量，我们不用做解释。对于第二个PTFQueryInputType类型的变量，这是导入包的变量类型，在下文中会使用到该变量作为接口去引用导入包内的一些内部的变量或者方法。

Explain设置（1）

  @Explain(displayName = "destination")

这是一个什么样的语句？我们先来观看@Expain这个关键字。@Explain其实是在调用我们的导入包org.apache.hadoop.hive.ql.plan.Explain。而在这个包里，有着其string类型的displayName变量。前面的displayName = “name"语句是在将变量displayName的值设置为"destination”。

参数destination的getter与setter方法

  @Explain(displayName = "destination")
  public String getDestination() {
    return destination;
  }

  public void setDestination(String destination) {
    this.destination = destination;
  }

对于参数destination的getter与setter方法，用于得到和设置destination参数。

参数type的getter与setter方法

  public PTFQueryInputType getType() {
    return type;
  }

  public void setType(PTFQueryInputType type) {
    this.type = type;
  }

对于参数type的getter与setter方法，用于得到和设置type参数。

Explain设置（2）

  @Explain(displayName = "type")

这次的Expain设置则是将变量displayName的值设置为"type"。

方法getTypeExplain

  @Explain(displayName = "type")
  public String getTypeExplain() {
    return type.name();
  }

我们来看一下PTFQueryInputType类中的name()方法。其实在PTFQueryInputType类中没有name(）这个方法。name()方法是枚举型变量Enum的方法，该方法用于获取到当前的枚举值的名字。也就是说，该方法的返回值是得到当前枚举型变量的名字。

方法getInput

  @Override
  public PTFInputDef getInput() {
    return null;
  }

这个方法其实是实现了PTFInputDef.java文件中的abstract类型方法getInput，在类的开头定义语句也指出了是继承了PTFInputDef类：public class PTFQueryInputDef extends PTFInputDef。

至此，PTFQueryInputDef.java文件代码全部解析完毕，我们接着往下解析。

ShapeDetails.java文件代码解析

我们首先附上整个java文件代码。

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package org.apache.hadoop.hive.ql.plan.ptf;

import java.util.List;
import java.util.Map;

import org.apache.hadoop.hive.ql.exec.PTFUtils;
import org.apache.hadoop.hive.ql.parse.RowResolver;
import org.apache.hadoop.hive.ql.parse.TypeCheckCtx;
import org.apache.hadoop.hive.serde2.AbstractSerDe;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

public class ShapeDetails {
  String serdeClassName;
  Map<String, String> serdeProps;
  List<String> columnNames;
  transient StructObjectInspector OI;
  transient AbstractSerDe serde;
  transient RowResolver rr;
  transient TypeCheckCtx typeCheckCtx;

  public String getSerdeClassName() {
    return serdeClassName;
  }

  public void setSerdeClassName(String serdeClassName) {
    this.serdeClassName = serdeClassName;
  }

  public Map<String, String> getSerdeProps() {
    return serdeProps;
  }

  public void setSerdeProps(Map<String, String> serdeProps) {
    this.serdeProps = serdeProps;
  }

  public List<String> getColumnNames() {
    return columnNames;
  }

  public void setColumnNames(List<String> columnNames) {
    this.columnNames = columnNames;
  }

  public StructObjectInspector getOI() {
    return OI;
  }

  public void setOI(StructObjectInspector oI) {
    OI = oI;
  }

  public AbstractSerDe getSerde() {
    return serde;
  }

  public void setSerde(AbstractSerDe serde) {
    this.serde = serde;
  }

  public RowResolver getRr() {
    return rr;
  }

  public void setRr(RowResolver rr) {
    this.rr = rr;
  }

  public TypeCheckCtx getTypeCheckCtx() {
    return typeCheckCtx;
  }

  public void setTypeCheckCtx(TypeCheckCtx typeCheckCtx) {
    this.typeCheckCtx = typeCheckCtx;
  }
}

开始解析。

参数serdeClassName

getter方法：

  public String getSerdeClassName() {
    return serdeClassName;
  }

setter方法：

  public void setSerdeClassName(String serdeClassName) {
    this.serdeClassName = serdeClassName;
  }

对于参数serdeClassName的getter与setter方法，用于得到和设置serdeClassName参数。

我们来看一下关于这个变量的定义语句：String serdeClassName，是一个String类型的变量，我们不做解析。

参数serdeProps

getter方法：

  public Map<String, String> getSerdeProps() {
    return serdeProps;
  }

setter方法：

  public void setSerdeProps(Map<String, String> serdeProps) {
    this.serdeProps = serdeProps;
  }

对于参数serdeProps的getter与setter方法，用于得到和设置serdeProps参数。

我们来看一下关于这个变量的定义语句：Map<String, String> serdeProps，这是一个Map<>类型的变量，相当于一个字典，我们不做解析。

参数columnNames

getter方法：

  public List<String> getColumnNames() {
    return columnNames;
  }

setter方法：

  public void setColumnNames(List<String> columnNames) {
    this.columnNames = columnNames;
  }

对于参数columnNames的getter与setter方法，用于得到和设置columnNames参数。

我们来看一下关于这个变量的定义语句：List<String> columnNames，这是一个List<>类型的链表变量，我们不做解析。

参数OI

getter方法：

  public StructObjectInspector getOI() {
    return OI;
  }

setter方法：

  public void setOI(StructObjectInspector oI) {
    OI = oI;
  }

对于参数OI的getter与setter方法，用于得到和设置OI参数。

我们来看一下关于这个变量的定义语句：transient StructObjectInspector OI，这是一个StructObjectInspector类型的变量。JAVA关键字transient我们已经解析过，这里不再赘述。我们查看导入包语句：
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
和以前一样，我们到官方API接口上查找：
在这里插入图片描述
我们待至使用到其中的内部变量或者方法时再返回此处进行详细的代码解析。

参数serde

getter方法：

  public AbstractSerDe getSerde() {
    return serde;
  }

setter方法：

  public void setSerde(AbstractSerDe serde) {
    this.serde = serde;
  }

对于参数serde的getter与setter方法，用于得到和设置serde参数。

我们来看一下关于这个变量的定义语句：transient AbstractSerDe serde;，这是一个AbstractSerDe类型的变量。JAVA关键字transient我们已经解析过，这里不再赘述。我们查看导入包语句：
import org.apache.hadoop.hive.serde2.AbstractSerDe;
和以前一样，我们到官方API接口上查找：
在这里插入图片描述
我们待至使用到其中的内部变量或者方法时再返回此处进行详细的代码解析。

参数rr

getter方法：

  public RowResolver getRr() {
    return rr;
  }

setter方法：

  public void setRr(RowResolver rr) {
    this.rr = rr;
  }

对于参数rr的getter与setter方法，用于得到和设置rr参数。

我们来看一下关于这个变量的定义语句：transient RowResolver rr;，这是一个RowResolver类型的变量。JAVA关键字transient我们已经解析过，这里不再赘述。我们查看导入包语句：
import org.apache.hadoop.hive.ql.parse.RowResolver;;。我们已经在上文解析过这个导入包，这里不再赘述。

参数typeCheckCtx

getter方法：

  public TypeCheckCtx getTypeCheckCtx() {
    return typeCheckCtx;
  }

setter方法：

  public void setTypeCheckCtx(TypeCheckCtx typeCheckCtx) {
    this.typeCheckCtx = typeCheckCtx;
  }

对于参数typeCheckCtx的getter与setter方法，用于得到和设置typeCheckCtx参数。

我们来看一下关于这个变量的定义语句：transient TypeCheckCtx typeCheckCtx;，这是一个TypeCheckCtx类型的变量。JAVA关键字transient我们已经解析过，这里不再赘述。我们查看导入包语句：
import org.apache.hadoop.hive.ql.parse.TypeCheckCtx;
和以前一样，我们到官方API接口上查找：
在这里插入图片描述
我们待至使用到其中的内部变量或者方法时再返回此处进行详细的代码解析。

至此，ShapeDetails.java文件代码全部解析完毕。

小结

通过本周的学习，我对HIVE有了更加深刻的认识，了解到了更加底层的逻辑，也学习到了许多官方的导入包的作用以及思想。希望能够在下周的学习中学习收获到新的关于HIVE的知识并学以致用。

单身汪拯救世界！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive 参数设置
01-07
命令行模式，或者说目录模式，可以使用hive 执行命令。 选项说明： 　-e : 执行短命令 　-f :  执行文件（适合脚本封装） 　-S : 安静模式，不显示MR的运行过程 　-hivevar :  用于定义hive运行时的变量替换 ，专门提供给用户自定义变量。 　-hiveconf :  用于定义hive执行时的属性，即配置参数，可覆盖hive-site.xml中配置的hive全局变量。 egg: hive -e查询： hive -S -e “use tv; select * from test;” hive -f 执行文件： hive -S -f test.hql hive -hive
hive传递参数与调用（hive SQL 脚本传参）
ChengYanan的博客
08-26 5949
在运行hive命令时传入参数，使用-hivevar 和 -hiveconf 两种参数选项，来给此次的执行脚本传入参数 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。 （1）脚本调用 test.sql use default; select '${hiveconf:month}' as month from default.user1; start.sh #!/bin/sh #ecoding=utf-8
hive sql引入全局自定义变量
最新发布
weixin_45520028的博客
08-25 520
hive sql引入全局自定义变量。
配置通用hive的环境变量(.hiverc)
Ganymede的Hadoop世界
07-15 5811
配置hive的环境变量
5.Hive参数配置与函数、运算符使用
hutc_Alan的博客
06-30 1197
Hive学习笔记5，自用
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
hive-jdbc-3.1.2-standalone
07-18
hive-jdbc-3.1.2-standalone适用于linux
hive-jdbc-1.2.1-standalone.jar
10-21
dbeaver-cli.exe客户端连接hive所需要的其中一个jar包 hive-jdbc-1.2.1-standalone.jar
hive-jdbc-2.1.1-cdh6.2.0-standalone.jar
09-24
hive-jdbc-2.1.1-cdh6.2.0（ieda等jdbc链接hive2.1.1）；cdh6.2.0安装的hive2.1.1
hive-jdbc-uber-2.6.5.0-292.jar驱动
01-05
hive-jdbc-uber-2.6.5.0-292.jar驱动
Hive详解之参数和变量设置
lixinkuan的博客
10-05 9927
hive 参数、变量 hive当中的参数、变量，都是以命名空间开头 通过${}方式进行引用，其中system、env下的变量必须以前缀开头 注：临时会话参数 hive -d val=1; 或者 hive -define val=1; 或者 hive --hivevar val=1; hive 参数设置方式 1、修改配置文件 ${HIVE_HOME}/conf/hive-site....
第93课：Hive中的内置函数、UDF、UDAF实战
aijiudu的博客
12-10 1286
Hive中的内置函数、UDF、UDAF实战
Hive中变量的使用
weixin_30344995的博客
01-14 5575
1.Hive配置属性 (1)命令行方式 Hive配置属性存储于 hiveconf 命名空间中，该命名空间中的属性是可读写的。在查询语句中插入 '${hiveconf:变量名}'，就可以通过 hive -hiveconf来替换变量。例如，查询语句和执行方式如下： [root]$cat test.sql #查看该文件 SELECT * FROM ${hiveconf:tabl...
Hive设置参数的三种方法
mtj66的博客，交流WX:SpringBreeze1104
10-08 3533
Hive设置参数的三种方法 Hive提供三种可以改变环境变量的方法 1.修改${HIVE_HOME}/conf/hive-site.xml配置文件； 　在Hive中，所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xml文件，放在${HIVE_HOM
hive-set设置总结
yuzaijiang2012的博客
05-14 3758
直接set命令可以看到所有变量值。set单个参数，可以看见这个参数的值。 常用hiveconf Hive相关的配置属性总结set hive.cli.print.current.db=true;在cli hive提示符后显示当前数据库。set hive.cli.print.header=true;显示表头。select时会显示对应字段。set hive.mapred.mode=strict;防止笛卡儿积的执行;如果对分区表查询，且没有在where中对分区字段进行限制，报错FAILED: Semant...
Hive 参数配置
大数据流浪法师的学习笔记与分享
11-21 253
Hive 参数配置 官方文档： https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没有起作用？这通常是错误的设定方式导致的。 对于一般参...
实战 - Hive中使用变量（环境变量、命令行变量、Hive 配置属性）
热门推荐
Veechange的博客
06-02 1万+
在Hive命令行工具中，可以使用系统环境变量、Hive配置文件中定义的属性以及Hive命令行工具中定义的变量。通过 set 命令，可以访问变量和修改变量的值。不同的变量，存储在不同的命名空间中。通过命名空间可以访问到变量。系统环境变量，存储于 evn 命名空间中，该命名空间中的变量是 只读的； Hive配置属性，存储于 hiveconf 命名空间中，该命名空间中的属性是 可读写的； Hive命令行变
Hive命名空间-自定义变量
weixin_45639174的博客
02-09 1972
Hive命名空间 Hive的命名空间分为：hiveconf , system, env 和 hivevar 1、hiveconf 的命名空间指的是hive-site.xml下面配置的环境变量 2、system的命名空间是系统的变量，包含JVM的运行信息 3、evn的命名空间是指环境变量，包含Shell环境下的变量信息，如 HADOOP_HOME一类的 4、hivevar为临时变量 可以使用： $ hive --define foo=bar hive> set foo; foo=bar; hive&g
命令hive和hive --service metastore的区别
05-23
Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据集。而hive --service metastore是Hive的一个元数据服务，它提供了Hive元数据的访问和管理。 Hive命令是用于执行Hive查询、创建表、加载数据等操作的命令行工具，它可以交互式地与Hive进行交互。 而hive --service metastore是一个独立的服务，用于管理Hive的元数据。当你使用Hive创建表时，表的定义和元数据将存储在metastore中。hive --service metastore提供了一种方式来访问和管理这些元数据。你可以使用该服务来备份和恢复Hive元数据，或者在多个Hive实例之间共享元数据。 总的来说，Hive命令用于执行Hive查询和管理表数据，而hive --service metastore用于管理Hive元数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值