Hive 大查询报警

最新推荐文章于 2023-11-07 09:01:13 发布
最新推荐文章于 2023-11-07 09:01:13 发布
阅读量519 收藏
点赞数 2
分类专栏： Hive 文章标签： hive big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36421826/article/details/120055246
版权

原文地址

Hive 大查询报警

背景

在知乎内部，Hive 主要被应用与两个场景：1. ETL 核心链路任务 2. Adhoc 即席查询。在 ETL 场景下，Hive SQL 任务都比较固定而且稳定，但是在 Adhoc 场景下，用户提交的 Hive SQL 比较随机多变。在用户对 SQL 没有做好优化的情况下，启动的 MapReduce 任务会扫描过多的数据，不仅使得任务运行较慢，还会对 HDFS 造成巨大压力，影响集群的稳定性，这种情况在季度末或者年底出现得极为频繁，有些用户会扫描一季度甚至一整年的数据，这样的查询一旦出现，便会导致集群资源紧张，进而影响 ETL 任务，导致报表延迟产出。

SQL 大查询实时报警系统简介

针对以上痛点，我们开发了大 SQL 查询实时报警系统，在用户提交 SQL 时，会做以下事情：

  1. 解析 SQL 的执行计划，转化成需要扫描的表路径以及分区路径；

  2. 汇总所有分区路径的大小，计算出扫描数据总量；

  3. 判断扫描分区总量是否超过阈值，如果超过阈值，在企业微信通知用户。

下面详解每一步的具体实现。

从执行计划拿到 Hive 扫描的 HDFS 路径

这一步我们利用 Hive Server 的 Hook 机制，在每条 SQL 被解析完成后，向 Kafka 输出一条审计日志，审计日志的格式如下：

{
  "operation": "QUERY",
  "user": "hdfs",
  "time": "2021-07-12 15:43:16.022",
  "ip": "127.0.0.1",
  "hiveServerIp": "127.0.0.1",
  "inputPartitionSize": 2,
  "sql": "select count(*) from test_table where pdate in ('2021-07-01','2021-07-02')",
  "hookType": "PRE_EXEC_HOOK",
  "currentDatabase": "default",
  "sessionId": "5e18ff6e-421d-4868-a522-fc3d342c3551",
  "queryId": "hive_20210712154316_fb366800-2cc9-4ba3-83a7-815c97431063",
  "inputTableList": [
    "test_table"
  ],
  "outputTableList": [],
  "inputPaths": [
    "/user/hdfs/tables/default.db/test_table/2021-07-01",
    "/user/hdfs/tables/default.db/test_table/2021-07-02"
  ],
  "app.owner": "humengyu"
}

这里我们主要关注以下几个字段：

字段含义
operationSQL 的类型，如 QUERY, DROP 等
user提交 SQL 的用户，在知乎内部是组账号
sql提交的 SQL 内容
inputPaths扫描的 HDFS 路径
app.owner提交 SQL 的个人账号

汇总分区的大小

汇总分区大小需要知道 inputPaths 字段里每一个 HDFS 路径的目录大小，这里有以下几种解决方案：

图片

ps:

还可以通过修改元数据，具体：每次执行完sql，调用一个rpc接口，更新当前表在hive中的元数据，或者，每晚定时整理相关表（analyze），就可以实现从hive元数据获取文件大小（不在hdfs上存储的外表除外）

在这里插入图片描述

针对通过INSERT OVERWRITE生成的表和分区，统计会自动计算生成，可以通过配置控制是否生效，默认是开启状态
hive> set hive.stats.autogather;
hive.stats.autogather=true

考虑到使用场景，大 SQL 查询大部分情况下都是扫描了几个月甚至几年的数据，一两天的分区信息忽略可以接受，我们选择了第三种方案：每天将 HDFS 的 fsimage 解析，并且计算出每个 Hive 目录的大小，再将结果存入 TiDB。因为我们在其他场景也会用到 fsimage 的信息，所以这里我们不仅仅只存储了 Hive 目录，而是存储了整个 HDFS 的目录情况，近百亿条数据。很明显，在如此大的数据量下，还涉及到数据索引相关，TiDB 是一个很好的选择。

实时报警

图片

我们将审计日志实时发送至 Kafka，再用 Flink 实时去消费 Kafka 内的审计日志，利用 KafkaTableSource 和 Json Format 将 Kafka 作为流表，再利用 JdbcLookupTableSource 将 TiDB 作为维表，便可轻松计算出每条 SQL 扫描的数据量再进行报警判断。

最后达成的效果如下：

图片

hive hook

通常，Hook是一种在处理过程中拦截事件，消息或函数调用的机制。 Hive hooks是绑定到了Hive内部的工作机制，无需重新编译Hive。从这个意义上讲，提供了使用hive扩展和集成外部功能的能力。换句话说，Hive hadoop可用于在查询处理的各个步骤中运行/注入一些代码。根据钩子的类型，它可以在查询处理期间的不同点调用：

Pre-execution hooks-在执行引擎执行查询之前，将调用Pre-execution hooks。请注意，这个目的是此时已经为Hive准备了一个优化的查询计划。

Post-execution hooks -在查询执行完成之后以及将结果返回给用户之前，将调用Post-execution hooks 。

Failure-execution hooks -当查询执行失败时，将调用Failure-execution hooks 。

Pre-driver-run 和post-driver-run hooks-在driver执行查询之前和之后调用Pre-driver-run 和post-driver-run hooks。

Pre-semantic-analyzer 和 Post-semantic-analyzer hooks-在Hive在查询字符串上运行语义分析器之前和之后调用Pre-semantic-analyzer 和Post-semantic-analyzer hooks。

实现

public class getQueryHook implements ExecuteWithHookContext {

    private static final HashSet<String> OPERATION_NAMES = new HashSet<>();

    static {
        OPERATION_NAMES.add(HiveOperation.CREATETABLE.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERDATABASE.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERDATABASE_OWNER.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERTABLE_ADDCOLS.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERTABLE_LOCATION.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERTABLE_PROPERTIES.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERTABLE_RENAME.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERTABLE_RENAMECOL.getOperationName());
        OPERATION_NAMES.add(HiveOperation.ALTERTABLE_REPLACECOLS.getOperationName());
        OPERATION_NAMES.add(HiveOperation.CREATEDATABASE.getOperationName());
        OPERATION_NAMES.add(HiveOperation.DROPDATABASE.getOperationName());
        OPERATION_NAMES.add(HiveOperation.DROPTABLE.getOperationName());
        OPERATION_NAMES.add(HiveOperation.QUERY.getOperationName());
    }

    @Override
    public void run(HookContext hookContext) throws Exception {
        HashMap<String, Object> hiveSqlParseValue = new HashMap<>();

        QueryPlan plan = hookContext.getQueryPlan();

        ObjectMapper mapper = new ObjectMapper();
        String operationName = plan.getOperationName();
        //System.out.println("Query executed: " + plan.getQueryString());
        hiveSqlParseValue.put("operation",operationName);//获取当前操作
        hiveSqlParseValue.put("user",hookContext.getUserName());

        Long timeStamp = System.currentTimeMillis();  //获取当前时间戳

        SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        String sd = sdf.format(new Date(Long.parseLong(String.valueOf(timeStamp))));
        hiveSqlParseValue.put("time",sd);
        hiveSqlParseValue.put("sql",plan.getQueryString());//当前查询sql
        hiveSqlParseValue.put("hookType",hookContext.getHookType());
        hiveSqlParseValue.put("queryId",plan.getQueryId());
        ArrayList<String> tableList = new ArrayList<>();
        ArrayList<String> inputPutList = new ArrayList<>();
        ArrayList<String> inputPutPartitionList = new ArrayList<>();
        HashSet<String> ownerSet = new HashSet<>();
        int isPartition=0;
        if (OPERATION_NAMES.contains(operationName)
                && !plan.isExplain()) {
            Set<ReadEntity> inputs = hookContext.getInputs();
//            Set<WriteEntity> outputs = hookContext.getOutputs();
            for (Entity entity : inputs) {
                switch (entity.getType()) {

                    //无分区
                    case TABLE:
                        tableList.add(entity.getTable().getTTable().getTableName());
                        inputPutList.add(mapper.writeValueAsString(entity.getTable().getTTable().getSd().getFieldValue(StorageDescriptor._Fields.LOCATION)).replace("\"",""));
                        ownerSet.add(entity.getTable().getTTable().getOwner());
                    //有分区
                    case PARTITION:
                        if (null != entity.getP()){
                            isPartition=1;
                            String partitionName = getValueName(entity.getP().getSpec(), false);
                            String influxPath = mapper.writeValueAsString(entity.getTable().getTTable().getSd().getFieldValue(StorageDescriptor._Fields.LOCATION)).replace("\"","");
                            inputPutPartitionList.add(influxPath+"/"+partitionName);
                        }

                }
            }

//            for (Entity entity : outputs) {

//            }

        }

        hiveSqlParseValue.put("inputTableList",tableList);

        if (isPartition==0){
            hiveSqlParseValue.put("inputPaths",inputPutList);
            hiveSqlParseValue.put("totalSize",getListPathSize(inputPutList));
        }else{
            hiveSqlParseValue.put("inputPaths",inputPutPartitionList);
            hiveSqlParseValue.put("totalSize",getListPathSize(inputPutPartitionList));
        }


        hiveSqlParseValue.put("app.owner",ownerSet);
        String resultJson = mapper.writeValueAsString(hiveSqlParseValue);
        System.out.println(resultJson);
    }

}



    public static long getTotalSize(String pathString) throws IOException {
        FileSystem hdfs = FileSystem.get(HookUtils.getHdfsConfig(0));

        //Path fpath = new Path(pathString.replace("JD","114.67.103.201"));
        Path fpath = new Path(pathString);
        FileStatus[] fileStatuses = hdfs.listStatus(fpath);
        Path[] listPath = FileUtil.stat2Paths(fileStatuses);
        long totalSize=0L;
        for (Path eachpath:listPath) {
            //totalSize = totalSize+hdfs.getContentSummary(new Path(eachpath.toString().replace("JD","114.67.103.201"))).getLength();
            totalSize = totalSize+hdfs.getContentSummary(eachpath).getLength();
        }

        return totalSize;
    }

打包上传

maven clean package

上传到hive lib目录，进入hive，用add jar的方式让其临时生效

hive> add jar /usr/local/service/hive/lib/original-hivehook-learn-1.0-SNAPSHOT.jar;
Added [/usr/local/service/hive/lib/original-hivehook-learn-1.0-SNAPSHOT.jar] to class path
Added resources: [/usr/local/service/hive/lib/original-hivehook-learn-1.0-SNAPSHOT.jar]
hive> set hive.exec.pre.hooks=com.hive.hook.learn.getQueryHook; #是在执行计划执行之前，所以指定hive.exec.pre.hooks
hive> select count(1) from bdm.bdm_tracker_flow_de where days>='2021-08-31';

{
    "inputTableList": [
        "bdm_tracker_flow_de"
    ],
    "totalSize": 361986399,
    "app.owner": [
        "hadoop"
    ],
    "time": "2021-08-31 18:22:01",
    "operation": "QUERY",
    "user": "hadoop",
    "hookType": "PRE_EXEC_HOOK",
    "sql": "select count(1) from bdm.bdm_tracker_flow_de where days>='2021-08-31'",
    "queryId": "hadoop_20210831182159_5aa752d4-6f0c-4de7-9bfa-ac5ea7eb130d",
    "inputPaths": [
        "hdfs://HDFS43319/usr/hive/warehouse/bdm/bdm_tracker_flow_de/2021-08-31/07/10",
        "hdfs://HDFS43319/usr/hive/warehouse/bdm/bdm_tracker_flow_de/2021-08-31/15/40",
        "hdfs://HDFS43319/usr/hive/warehouse/bdm/bdm_tracker_flow_de/2021-08-31/17/10",
        "hdfs://HDFS43319/usr/hive/warehouse/bdm/bdm_tracker_flow_de/2021-08-31/08/40"
        ......
    ]
}

问题

1.原文说，使用hdfs api获取时间比较久，实测查询96个分区文件的大小，只需要一秒左右，可能和集群本身的数据量有关

2.数仓有些hive表是hbase的外部表，在hdfs不存储数据，也就查不到大小

3.当分区过多的时候，会报oom，bdm_tracker_flow_de表按日、时、分进行分区，全部查的话，内存设置不够，会直接内存溢出

4.目前还有使用presto进行查询的，这个就捕捉不到了

5.使用analyze表即可更新最新的元数据，后面可随意查询，验证是否可行

还可以干什么？血缘分析，后面更新

git代码地址

有梦想的人不睡觉121
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过 Dr-Elephant 监控异常HIVE任务并报警
xw514124202的博客
11-28 454
Dr-Elephant收集到的YARN JOB信息后，存入对应的mysql表（yarn_app_result、yarn_app_heuristic_result、yarn_app_heuristic_result_details） yarn_app_result （job是否有异常） yarn_app_heuristic_result (job的异常指标) yarn_app_heuristic...
SQL on Hadoop在快手大数据平台的实践与优化
Hadoop技术博文
07-13 495
点击▲关注 “过往记忆大数据” 给公众号标星置顶更多精彩 第一时间直达本文转自| 快手星球 作者| 钟靓一、SQL on Hadoop介绍SQL on Hado...
Hive提示警告SSL
上等的猪头肉
04-20 323
一、问题 Hive能正常执行任务，但出现“WARN: Establishing SSL connection without server’s identity verification is not recommended.”告警，翻译过来就是“不建议不使用服务器身份验证建立SSL连接。” 二、解决方法 根据告警提示有两种解决方法： 1.设置useSSL=false 这里有个坑就是hive...
【hive】hive表很大的时候查询报错问题
anyi365416的专栏
10-18 1297
　　线上hive使用环境出现了一个奇怪的问题，跑一段时间就报如下错误： FAILED: SemanticException MetaException(message:Exception thrown when executing query : SELECT A0.PART_NAME,A0.PART_NAME AS NUCORDER0 FROM PARTITIONS A0 LEFT ...
02.16 Day 28 - 大查询
stevenchen1989的博客
02-16 231
大家好，我是 Snow Hide，作为《MySQL 实战》这个专栏的学员之一，这是我打卡的第 28 天，也是我第 91 次进行这种操作。 今天我温习了该专栏里一篇叫《为什么我只查一行的语句，也执行这么慢？》的文章。 关键词总结：查询长时间不返回（等 MDL 锁、等 flush、等行锁）、查询慢。   所学总结：   查询长时间不返回 使用 show processlist 命令...
hive查询不加分区的一个异常
qq_38472465的博客
09-03 237
hive查询不加分区的一个异常
项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量（Java版本）
10-24
因为你不知道将Hive的数据导入到了ElasticSearch后，数据量是否准确，所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量，注意，这个项目打包后，最好另起一个进程调用，并且开始时间为文章1或者2最大...
Ambari部署Hadoop集群.doc
06-22
这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大地提高集群管理的效率。 本章首先对Ambari做简单介绍，然后详细...
安全大数据分析框架OpenSOC.zip
07-18
且能够集成已有的分析工具支持实时的Telemetry搜索和跨Telemetry的匹配支持自动生成报告、和异常报警支持原数据包的抓取、存储、重组支持数据驱动的安全模型OpenSOC 官方文档介绍了以下五大优点：由思科全力支持，...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（25页） 第5章 安全管理.pptx
05-23
此外，机房通常配备报警和灭火系统，如气体灭火系统，避免传统水基系统对电子设备的损害。视频监控也是常用的安全监控手段，用于实时监控关键区域。 【应用安全】应用安全主要包括技术安全层面的多个方面。安全漏洞...
精准医疗大数据分析平台建设方案共14页.ppt
05-02
7. **Hive数据仓库**：存储大规模结构化数据。 8. **PIG数据流处理**：处理大规模数据集。 9. **安全认证体系**：保障数据访问的安全性。 10. **日志监控报警**：实时监控系统健康状况。 11. **MapReduce分布式计算*...
MySQL大查询的问题
囚牢-峰子的博客
01-19 305
我们经常会遇到这样的问题，我的主机内存只有 100G，现在要对一个 200G 的大表做全表扫描，会不会把数据库主机的内存用光了？这个问题确实值得担心，被系统 OOM（out of memory）可不是闹着玩的。 但是，反过来想想，逻辑备份的时候，可不就是做整库扫描吗？如果这样就会把内存吃光，逻辑备份不是早就挂了？所以说，对大表做全表扫描，看来应该是没问题的。但是，这个流程到底是怎么样的呢？ 全表扫描对 server 层的影响 我们已经知道，InnoDB 的数据是保存在主键索引上的，所以全表扫描实际上是
hive web界面管理
weixin_30411239的博客
06-24 109
老版本使用 访问<Hive Server Address>:9999/hwi 1、首先下载对应版本的src文件，本机使用apache-hive-1.2.2-src.tar.gz 2、解压缩 tar -zxvf apache-hive-1.2.2-src.tar.gz 3、进入到解压缩之后的文件中去 cd apache-hive-1.2.2-src 4、cd hwi5、j...
大查询会不会把内存打爆
weixin_46935110的博客
06-08 364
大查询会不会把内存打爆
一文学完所有的Hive SQL（两万字最全详解）
最新发布
大数据星球-浪尖
11-07 2433
Hive SQL 大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表，分区表和分桶表二、DQL语句（数据查询语句）：单表查询、关联查询hive函数：包含聚合函数，条件函数，日期函数，字符串函数等行转列及列转行：lateral view 与 explode ...
Hive Sql 大全(1)
ZP1008yy的博客
03-20 756
一、DDL语句（数据定义语句）： 对数据库的操作：包含创建、修改数据库 对数据表的操作：分为内部表及外部表，分区表和分桶表 二、DQL语句（数据查询语句）： 单表查询、关联查询 hive函数：包含聚合函数，条件函数，日期函数，字符串函数等 行转列及列转行：lateral view 与 explode 以及 reflect 窗口函数与分析函数 其他一些窗口函数
hive中的SQL
weixin_57551874的博客
05-06 937
第一章 查询语句基本语法 1.1 **Select***查询结构基本语法 下面是一个SQL查询语句的基本结构 1.2 sql****语句的执行顺序 1.3 查询注意事项 1.4 数据库建模 关系型数据库最难的地方，就是建模（model）。 错综复杂的数据，需要建立模型，才能储存在数据库。所谓"模型"就是两样东西：实体 （entity）+ 关系（relationship）ER图。实体指的是那些实际的对象，带有自己的属性，可以理解成一组相关属性的容器。关系就是实体之间的联系，通常可以分成"一对一"、
Hive的基本SQL操作（DDL篇）
qq_25409421的博客
09-20 1万+
Hive SQL(HQL)与SQL的语法大同小异,基本上是相通的,学过SQL的使用者可以无痛使用Hive SQL。只不过在学习HQL语法的时候,特别要注意Hive自己特有的语法知识点，今天我们就来学习下Hive SQL的DDL语句
SQL系列（一）快速掌握Hive查询的重难点
热门推荐
微信知乎搜索HsuHeinrich
12-25 1万+
作为一名数（取）据（数）分（工）析（具）师（人），不得不夸一下SQL，毕竟凭一己之力养活了80%的数据分析师，甚至更多。
Hive报错命令报警规则查询失败
06-10
这个问题可能需要更多的上下文信息才能确定根本原因。我可以给你一些可能的解决方案，但是无法保证一定适用于你的具体情况。 首先，Hive 报错命令报警规则查询失败通常意味着Hive命令执行失败，可能是由于查询语句有误或者是Hive配置问题导致的。你可以尝试检查查询语句是否正确，以及Hive的配置是否正确。 其次，你可以尝试查看Hive的日志，以获取更多的错误信息。Hive的日志通常存储在Hadoop集群的日志目录中，你可以尝试查看相关的日志文件，来获取更多的错误信息。 最后，如果你无法解决这个问题，你可以尝试联系你们公司的Hive管理员或者技术支持人员，来获取更多的帮助和支持。他们可能更有经验，能够帮助你解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值