6- ABC迁移大数据2

1.存储过程迁移方法：

存储过程的迁移我们直接用单个的HQL脚本里进行逻辑的迁移，需要注意的点是，在过程里有一些不需要落地的临时表（先delete再insert），以及最终的结果表需要落地（先delete再insert）。如下图：

在HQL脚本里，临时表(删除表后再重建表)，结果表覆盖方式重写指定分区数据(overwrite)。如下图：

 

2.包迁移方法：

包的迁移，我们可以理解为包是由多个过程组成的，拆分成上面的过程迁移方式，生成多个HQL脚本，在调用的时候跟据包的顺序执行就可以了。

 

3.函数迁移方法：

函数迁移中，我们首先看是否可以采用HQL脚本实现函数的逻辑，如果做不到，我们需要自己在HIVE中编写自定义的函数，自定义的函数编写比较长，可以单独写一遍文单介绍。然后发布到HIVE环境中，就可以直接使用，像使用sum,avg等这样的函数一样。目前HIVE自带的函数很丰富了，基本会满足我们的需求。

 

4.调度迁移：

在关系库中，我们调度采用的是JOB，以及包和过程里的调用关系。在HIVE中，我们迁移的只有单个的HQL脚本，如何按照关系库的调度和调用关系来让HQL脚本执行，最原始的方法是我们编写一个SH脚本，通过SH脚本来调用HQL脚本，这里可以做到串行，并行调用，如下图：

程序逻辑的调用和执行关系完成了，如何达到我们的JOB定时执行呢，我们也是采用linux的crontab命令。如下图说明：

具体样例脚本见：https://github.com/blt328/abc_hive下载.

更多技术文章请关注公众号BLT328(长按后点识别图中二维码):