一种基于大数据平台的动态SQL语句的执行方法,用于实现复杂逻辑脚本的处理,属于 SQL语句执行技术领域。
背景技术:
当前在星环大数据inceptor批量脚本开发时,用perl封装执行的SQL逻辑模块,通过 beeline方式提交到数据库中执行,最后返回执行结果(成功/失败)。具体执行过程为: perl预先处理SQL逻辑模型,将其中的变量替换成实际值,然后使用beeline方式inceptor连接数据库,并提交到inceptor数据库中执行。
有时,为了一些复杂的需求,ETL开发人员需要去写更多的perl程序来实现复杂逻辑,比如if判断,for循环等。这就使得ETL开发人员,不仅仅要熟悉SQL语言,还要对perl 有一定了解。同时,这样写出来的程序执行的返回结果只有成功、失败状态,无法捕获每段逻辑的执行开始时间、结束时间、影响记录数等信息。
如果逻辑比较简单,即只有顺序执行,没有特殊逻辑(如for循环、if判断、goto调转等),仅仅是步骤比较多,现有处理方法主要有:
一、将逻辑步骤拆分成N段,对每段程序用perl脚本分别封装,通过beeline提交到数据库中执行。
二、将整个逻辑封装成一个逻辑块,整体封装成一个逻辑处理单位,通过beeline提交到数据库中执行。
按照上述两种方法,对于简单多步处理逻辑,如果按照整体封装sql,通过beeline方式提交到数据库中执行,此种方法,仅能获取程序执行的返回结果,无法获取程序具体步骤中执行的返回状态,开始执行时间、执行结束时间。
如果按照每一步骤单独分装SQL,通过beeline提交数据库执行,返回结果后再提交下一个语句逻辑,这种方式虽然能够返回每一步执行的开始、结束时间、执行状态,但是无法捕获程序的影响记录数。同时,此种方式编写的程序,开发人员不仅需要掌握SQL语句编写技能,还要求perl语言开发能力,且编写出来的代码量(代码行数)特大。
如果逻辑比较复杂,比如有循环、分支判断等复杂逻辑,现有处理方法是,通过perl 语言实现复杂逻辑,将SQL嵌套到perl脚本中,通过beeline提交到数据库中执行。
如果将是将sql逻辑语句嵌套到perl脚本中,