水位线思想在解决SQL复杂场景问题中的应用与研究

目录

0 前言

1 场景描述

2 数据准备

3 水位线思想分析研究

4 小结

---

0 前言

         SQL语言在数据处理、数据分析领域具有重要意义，往往要求开发者具有结构化的思维方式，能将二维表进行各种方式的转换，以达到输出最终结果的目的。这就要求数据开发者必须掌握一些核心的变换操作，如关联、和UNION操作，其中关联的意义在于联合查询，获取更多的行数据信息及逻辑判断的特征信息（让行粒度的数据变得更丰富），UNION的意义是为了分治处理，将不同特征的数据分开处理并进行合并，这两种操作是处理数据变化的基础操作和基本思维。而窗口函数的出现，让SQL应对复杂场景的问题变得简单，他以数据集（窗口）的形式对数据进行变换，并针对窗口内每一行数据利用分析函数进行计算，生成一个辅助计算值，我们往往借助于窗口函数进行辅助计算或生成标签值，窗口函数的出现让SQL处理复杂业务场景问题变得简单，使得SQL语言在数据处理、数据分析领域显得尤为重要，因而学好SQL语言对数据开发者来讲至关重要。在面对各种多变、复杂的业务场景处理时，我们往往需要以怎样的思维进行切入，以什么样的手段、方式进行化解复杂业务场景问题，这是本文需要探讨的，本文给出了一种以水位线思想分析复杂场景问题的方法和手段，并以实际业务场景为例，层层深入，最终引出本文的观点和方法，巧用sum(xxx) over(order by ts)解决数据随时间变化的发生拐点问题，利用这一函数进行分组处理使问题变得简单、逻辑性更强、通用性和可扩展性更高。

1 场景描述

水位线的思想处理问题，我们先根据实际场景需要解决的问题来引出这一话题，例如有下面的场景：

我们希望删除某id中存在NULL值的所有行，但是保留第一次出现不为NULL值的以下所有存在NULL值的行。具体如下图所示：

2 数据准备

（1）数据

id	ts
NULL	20220201
NULL	20220202
NULL	20220203
NULL	20220204
NULL	20220205
NULL	20220206
NULL