PYTHON解析SQL文件,提取其中的每条SQL

背景
.sql文件存放的是数据库的建表,插入,查询等sql,现在需要python连接数据库去执行sql文件中的所有操作。通过数据库客户端工具或者查询窗口可以批量执行。但是使用pymysql没有直接执行sql文件的方法。替代路线是解析sql文件内容成每条可单独执行的sql语句。然后一次循环excute。所以这里的核心问题是如何解析sql文件。
首先根据;切分显然不适合,不能正确解析插入内容中带有;的sql。还有一些建表语句是换行存在sql文件中的,简单的按行处理也不适合。为了适配这些情况,直接上代码。
给一个sql文件样例,内容如下:



-- ----------------------------
-- Table structure for t_dg_mdatt_catalog
-- ----------------------------
DROP TABLE IF EXISTS t_catalog;
CREATE TABLE t_catalog (
  MD_ID varchar(32) NOT NULL COMMENT '元数据id',
  DEFAULT_CHARACTER_SETNAME varchar(1000) DEFAULT NULL COMMENT '默认字符集名',
  DEFAULT_COLLATION_NAME varchar(1000) DEFAULT NULL COMMENT '默认校检名称',
  IP varchar(1000) DEFAULT NULL COMMENT 'IP地址',
  CREATE_TIME varchar(16) DEFAULT NULL COMMENT '创建时间',
  UPDATE_TIME varchar(16) DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (MD_ID)
)  COMMENT='目录属性表';
insert into TEST_TB (ID, CODE, NAME, PARENT_ID, REFERENCE_STANDARDS, DESCRIBES, SORT, DELETE_FLAG, CREATE_TIME, CREATE_USER, UPDATE_TIME, UPDATE_USER,TENANT_ID)
values ('00000000675e54b401675e5765550003', '01', '国标;\n', '0', '国标;\n', '国标', 1, '0', '20181129152045', 'sadmin', '20181129152045', 'sadmin','1');
-- commit;

commit;
处理的代码如下:
def readsql_from_file(sqlfile_path):
    try:
        mylogger.info("sql文件%s,开始内容转化" % (sqlfile_path))
        print("sql文件%s,开始内容转化" % (sqlfile_path))
        fp = open(sqlfile_path, 'r', encoding='utf-8')
        sql_str = fp.readlines()
        # results_list = sql_str.split(";")
        results, results_list = [], []
        ##去除\n\r
        if sql_str[-1].endswith(";"):
            sql_str[-1] = sql_str[-1] + "\n"
        for sql in sql_str:
            if sql.startswith( "\n") or sql == "\r":
                continue
            if sql.startswith("--"):
                continue
            # 去除数据中的“\n”和“\r”字符
            # if sql.endswith("\n"):
            #     sql = sql[::-1].replace("\n", "",1)[::-1]
            #     if sql.endswith("\r"):
            #         sql = sql[::-1].replace("\r", "",1)[::-1]

            # sql = sql.replace("\n", "").replace("\r", "")
            # 获取不是“--”开头且不是“--”结束的数据
            if not sql.startswith("--") and not sql.endswith("--"):
                if not sql.startswith("/*"):
                    results.append(sql)

        trmp_res_sql_list, res_sql_list = [], []
        while len(results) > 0:
            for i in range(len(results)):
                if results[i].endswith(";\n"):
                    tem_str = "".join(results[:i + 1])
                    trmp_res_sql_list.append(tem_str)
                    del results[:i + 1]
                    break
        # print(len(trmp_res_sql_list))
        for i in trmp_res_sql_list:
            if i.endswith(";\n"):
                i = i.strip()
                # i= i.replace(";\n","",1)
                i = i[::-1].replace(";", "", 1)[::-1]
                # i = i[::-1].replace(";\n", "", 1)[::-1]
                # print(str(i))
                res_sql_list.append(i)
        mylogger.info("sql文件%s,内容转化成功,转化待执行sql共%s条" % (sqlfile_path, str(len(res_sql_list))))
        print("sql文件%s,内容转化成功,转化待执行sql共%s条" % (sqlfile_path, str(len(res_sql_list))))
        return res_sql_list
    except Exception as ex:
        mylogger.error("sql文件%s,内容转化失败,错误信息%s" % (sqlfile_path, str(ex)))
        print("ERROR,sql文件%s,内容转化失败,失败信息%s" % (sqlfile_path, str(ex)))
        return None
if __name__ == "__main__":
	sql_list = readsql_from_file('./try.sql')
    for sql_str in range(len(sql_list)):
        print("第%s条SQL"%(str(sql_str)),sql_list[sql_str])


调用结果如下

sql文件./try.sql,开始内容转化
sql文件./try.sql,内容转化成功,转化待执行sql共4条
第0条SQL DROP TABLE IF EXISTS t_catalog
第1条SQL CREATE TABLE t_catalog (
  MD_ID varchar(32) NOT NULL COMMENT '元数据id',
  DEFAULT_CHARACTER_SETNAME varchar(1000) DEFAULT NULL COMMENT '默认字符集名',
  DEFAULT_COLLATION_NAME varchar(1000) DEFAULT NULL COMMENT '默认校检名称',
  IP varchar(1000) DEFAULT NULL COMMENT 'IP地址',
  CREATE_TIME varchar(16) DEFAULT NULL COMMENT '创建时间',
  UPDATE_TIME varchar(16) DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (MD_ID)
)  COMMENT='目录属性表'2条SQL insert into TEST_TB (ID, CODE, NAME, PARENT_ID, REFERENCE_STANDARDS, DESCRIBES, SORT, DELETE_FLAG, CREATE_TIME, CREATE_USER, UPDATE_TIME, UPDATE_USER,TENANT_ID)
values ('00000000675e54b401675e5765550003', '01', '国标;\n', '0', '国标;\n', '国标', 1, '0', '20181129152045', 'sadmin', '20181129152045', 'sadmin','1')3条SQL commit
  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 6
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值