Python处理sql建表语句格式化表结构

**背景：**在做数据资产盘点时，对于已经落地的系统，但是没有做数据资产目录注册，需要盘点生产库中在跑的所有表，个别情况开发无法直接导出元数据信息，需要对建表语句进行处理，将所有表的字段及注释信息以二维表格形式展示。

# 读取txt文件并处理输出

import pandas as pd  
import re  
import os

os.chdir(r'C:\Users\Lenovo\Desktop\数据架构\人才规划到退出')
  
def parse_sql_to_excel(sql_file, excel_file):  
    # 正则表达式用于匹配表和字段信息  
    table_pattern = re.compile(r"CREATE TABLE `(.*?)`(.*?)COMMENT = '(.*?)'", re.DOTALL)  
    field_pattern = re.compile(r"`([^`]+)`\s+[^,]+COMMENT\s+'([^']+)'", re.DOTALL)  
  
    # 读取SQL文件  
    with open(sql_file, 'r', encoding='utf-8') as f:  
        content = f.read()  
  
    # 查找所有表  
    tables = table_pattern.finditer(content)  
  
    # 使用pandas的ExcelWriter  
    with pd.ExcelWriter(excel_file, engine='xlsxwriter') as writer:  
        for match in tables:  
            table_name, fields_raw, table_comment = match.groups()  
              
            # 创建一个空的DataFrame  
            df = pd.DataFrame(columns=['字段名', '注释'])  
  
            # 解析字段  
            fields = field_pattern.finditer(fields_raw)  
            for field_match in fields:  
                field_name, field_comment = field_match.groups()  
                df = df.append({'字段名': field_name, '注释': field_comment}, ignore_index=True)  
  
            # 写入Excel  
            df.to_excel(writer, sheet_name=table_comment, index=False)  
  
# 使用示例  
sql_file = 'biaojiegou.txt'  
excel_file = 'tables.xlsx'  
parse_sql_to_excel(sql_file, excel_file)