从底层采集所有运行的HIVE SQL

102 篇文章 11 订阅
5 篇文章 0 订阅

 


版权
修改HIVE-SITE.XML,每个sql在执行之前都会去执行这个类,这个类实现
ExecuteWithHookContext接口
<property>
    <name>hive.exec.pre.hooks</name>
    <value>com.wending.hive.HivePreHook</value>
    <description>
      Comma-separated list of pre-execution hooks to be invoked for each statement. 
      A pre-execution hook is specified as the name of a Java class which implements the 
      org.apache.hadoop.hive.ql.hooks.ExecuteWithHookContext interface.
    </description>
  </property>
   2.示例代码,然后打包放在hive lib/路径下,不管从哪个路径访问的,命令行,JDBC等等都能把sql采集到。

public class HivePreHook implements ExecuteWithHookContext {
 
    public void run(HookContext hookContext) throws Exception {
        final HookContext hc = hookContext;
        try {
            new Thread(new Runnable() {
                @Override
                public void run() {
                    System.out.println(("执行了hive hook"));
                    final QueryPlan queryPlan = hc.getQueryPlan();
                    String querySql = queryPlan.getQueryStr();
                    System.out.println(querySql);
                }
            }).start();
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
    }
}
 
 

Hive SQL 是一种基于 Hadoop 平台的分布式数据仓,它使用类 SQL 语言来查询和分析数据。如果你想在自己的电脑上运行 Hive SQL,你需要进行以下步骤: 1. 安装 Hadoop:你需要先安装 Hadoop,因为 Hive SQL 是建立在 Hadoop 之上的。你可以从官方网站下载 Hadoop,然后按照官方文档进行安装。 2. 安装 Hive:在安装完 Hadoop 后,你需要下载安装 Hive。你可以从官方网站下载 Hive,然后按照官方文档进行安装。 3. 配置环境变量:当安装完 Hive 后,你需要将 Hive 的路径添加到系统的环境变量中。你可以在命令行中输入以下命令来添加环境变量: ``` export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin ``` 其中,`/path/to/hive` 是你安装 Hive 的路径。 4. 启动 Hive:当你完成了前面的步骤后,你就可以启动 Hive 了。在命令行中输入以下命令来启动 Hive: ``` hive ``` 这个命令会启动 Hive 的交互式命令行界面,你可以在这个界面中输入 Hive SQL 语句来查询和分析数据。 如果你想打包 Hive SQL 应用程序并在集群上运行,你需要进行以下步骤: 1. 编写 Hive SQL 脚本:你需要编写一个 Hive SQL 脚本来查询和分析数据。你可以使用任何文本编辑器来编写这个脚本,脚本的文件格式应该是 .sql。 2. 将脚本上传到 HDFS:在你能够在集群上运行 Hive SQL 脚本之前,你需要将脚本上传到 HDFS 中。你可以使用 Hadoop 的命令行工具或者 HDFS 的 Web 界面来上传文件。 3. 运行 Hive SQL 脚本:当你完成了前面的步骤后,你就可以在集群上运行 Hive SQL 脚本了。在命令行中输入以下命令来运行脚本: ``` hive -f /path/to/script.sql ``` 其中,`/path/to/script.sql` 是你上传到 HDFS 中的 Hive SQL 脚本的路径。 这些是在本地和集群上运行 Hive SQL 的基本步骤。如果你想更深入地了解 Hive SQL,你可以参考官方文档或者其他在线教程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值