Pyodps批量处理作业

1.背景

        由于业务原因，工作中一直使用的是专有云，且目前不支持OpenAPI，因此作业只能使用手工创建，这在有大量表对象需要创建作业时造成了明显的时间和人力的耗费。

        针对这种问题，首先想到了编写资源，再通过一个Pyodps作业调用资源处理批量的表对象。但是必须解决两个问题：1.各个子实例需要实现独立并行；2.需要不影响子实例的运维。即某个子实例报错需要反馈出来且不影响其他子实例的正常运行。

2.思路

        总体思路：通过一个Pyodps作业，并行地去调起表操作实例。

        1.由于Pyodps提供了两种执行SQL语句的方法，execute_sql与run_sql，前者会阻塞调起SQL实例，而后者是不会阻塞的，可实现并行，这就为第一个问题提供了解决方案。值的注意的是run_sql这个方法默认的是只能执行一句SQL（即一个分号前的语句），如果想执行多个SQL过程，需要加一个设置参数"odps.sql.submit.mode":"script"，即

o.run_sql(sql,hints={"odps.sql.submit.mode":"script"})

        2.为了保证同一个Pyodps作业可以对所有子实例起到运维监测的作用，就需要在作业里有两个全局列表变量，一个用来记录下每一个子实例以及其所操作的对象名称（一般是表名），另一个用来记录失败的实例表名。即在所有run_sql实例都提交云上并行处理后，遍历这个实例列表，对每个子实例进行状态的追踪，如果子实例运行结束且它运行失败了（成功不做处理），那么就将这个实例所操作的对象名记录在失败的清单里，然后增加偏移量，继续追踪下一个子实例。

        每个实例即instance，都有status.name属性显示是否运行完成（运行完成不代表成功或失败），'TERMINATED'表示instance完成。检验是否成功则调用instance的is_successful方法，若instance.is_successful()返回True即代表成功，False则代表失败。

        3.在遍历完所有子实例（即子实例全部'TERMINATED'）后，检查失败清单，如果失败清单为空则成功结束。如果失败清单不为空，则打印出失败清单，并且抛出错误（这样此作业会报错，可以通过运维中心查看日志定位失败清单）。

3.示例

        简单起见，这里举一个表批量同步落地的示例，将其他空间的表同步到本空间（表名与表结构不变）。

1.编写资源（也可以直接放在作业里）

创建名为utils_data_sync.py的py资源，加入以下代码并提交。

# -*- coding: utf-8 -*-

#批量数据落地
def exec_merge_sql_batch (o,sourceproject,sourcetable):
    #检查源空间是否存在此表
    if not o.exist_table(sourcetable, sourceproject):
        return None
    #获得源表
    table = o.get_table(sourcetable, sourceproject)
    source_columns = ''
    #获得源表字段以拼接插表语句
    for col in table.schema.columns:
        source_columns += '    ,' + col.name + '\n'
    #检查是否存在插入目标表，若不存在则创建
    if not o.exist_table(sourcetable):
    #若对建表的结构有处理需求也可以单起一个建表方法,返回建表语句,也可用gen_create_table_sql
    #但是需要注意，如果是执行建表语句应该使用execute_sql保证阻塞
        o.create_table(sourcetable,table.schema,if_not_exists=True)
        print('\n========建表sql========\n' + sourcetable)
    #插表语句的最终形成
    dm_sql = '''
    insert overwrite table %s
    select %s from %s
    ''' %(sourcetable,source_columns[5:],sourceproject + '.' + sourcetable)
    instance=o.run_sql(dm_sql)
    print('\n========合并sql========\n' + sourcetable)
    #注意，一定要返回实例（元组绑定实例和表名）
    return (instance,sourcetable)

2.Pyodps作业

# -*- coding: utf-8 -*-
##@resource_reference{"utils_data_sync.py"}
import sys
import os
import time
sys.path.append(os.path.dirname(os.path.abspath('utils_data_sync.py'))) #将资源引入工作空间
reload(sys)
sys.setdefaultencoding('utf8')
import utils_data_sync as uds

#批量表清单(自行填写)
tables=['TABLE_A',
'TABLE_B',
'TABLE_C']

# 数据源空间名(自行填写)
sourceproject = 'XXXXXXX'

# 实例容器
instances=[]
fail_table_list=[]
all_cnt=0
complete_cnt=0

#批量调起并行拉表实例
for table in tables:
    ret=uds.exec_merge_sql_batch(o,sourceproject,table)
    if not ret:
        fail_table_list.append(table)
    else:
        instances.append(ret)
        all_cnt+=1

#实例状态追踪
while complete_cnt<all_cnt:
    if instances[complete_cnt][0].status.name=='TERMINATED':
        if not instances[complete_cnt][0].is_successful():
            fail_table_list.append(instances[complete_cnt][1])
        complete_cnt+=1
    else:
        time.sleep(10)
    print('已完成实例---总实例')
    print('{:.0f}---{:.0f}'.format(complete_cnt,all_cnt))


try:
    if not fail_table_list:
        print('========全部实例运行成功========')
    else:
        print('========存在实例出现异常========')
        print(fail_table_list)
        raise Exception("请查看打印出的异常实例!")
except RuntimeError as e:
    print(repr(e))

3.结果展示

        将上述Pyodps作业上调度，然后如果自然调度报错，可在运维空间查看，如下：

        (有需要的也可使用logging和traceback等做记录）

4.总结

        这都是在没有OpenAPI情况下的权宜之计。。。

5.更新

        其实可以跟进一步地打印出报错的实例log，即把错误实例直接放进报错列表，抛错时通过实例的get_logview_address方法打印log地址备查。这样就不需要单独再检查报错实例的问题了。

#实例状态追踪
while complete_cnt<all_cnt:
    if instances[complete_cnt][0].status.name=='TERMINATED':
        if not instances[complete_cnt][0].is_successful():
            fail_table_list.append(instances[complete_cnt])
        complete_cnt+=1
    else:
        time.sleep(10)
    print('已完成实例---总实例')
    print('{:.0f}---{:.0f}'.format(complete_cnt,all_cnt))


try:
    if not fail_table_list:
        print('========全部实例运行成功========')
    else:
        print('========存在实例出现异常========')
        for instance in fail_table_list:
            print('异常表'+instance[1])
            if instance[0]=='数源无此数据':print('异常log:数源无此数据')
	#如果是专有云，那么打印log需根据空间的实际网络地址替换
            else:print('异常log:'+instance[0].get_logview_address().replace('http://logview.odps.aliyun.com','专有云地址'))
        raise Exception("请查看打印出的异常实例!")
except RuntimeError as e:
    print(repr(e))