【sql/python】以共同字段进行两表合并

需求背景:
数据库中有两张表,共同字段为id,想要合并为一个表,但两张表内容过大,如果使用sql语句执行会崩溃!!
目标要求:从数据库中导出为两个json文件,一个文件字段为id,value;另一个文件字段为id,note,以相同字段id进行合并,输出一个JSON包含三个字段id,value,note

# 将两个json文件以id进行合并,输出最终的目标结果
import json

with open('text_1.json', 'r',encoding='utf-8') as f:
    data1 = json.load(f)
with open('text_2.json', 'r',encoding='utf-8') as f:
    data2 = json.load(f)

# for d in data1 + data2:
#     print(d)

# #----------报错,因为部分 id在note表不存在
# # 使用id字段作为键来合并两个字典
# merged_data = {d['ID']: { 'id': d['ID'], 'value': d['VALUE'], 'note': d['NOTE'] } for d in data1 + data2}

# 合并两个字典
# 执行上述一行代码报错的话,再改为下面的代码
merged_data = {}
for item1 in data1:
    ID = item1['ID']
    merged_data[ID] = {
        'ID': ID,
        'VALUE': item1['VALUE'],
        'NOTE': None  # 默认没有note
    }
for item2 in data2:
    ID = item2['ID']
    if ID in merged_data:
        # 如果id已经在merged_data中,更新note字段
        merged_data[ID]['NOTE'] = item2['NOTE']
    else:
        # 如果id不在merged_data中,但存在于data2中,添加到merged_data
        merged_data[ID] = {
            'ID': ID,
            'VALUE': None,  # 默认没有value
            'NOTE': item2['NOTE']
        }

# 将合并后的字典转换回JSON格式
merged_json = json.dumps(merged_data, ensure_ascii=False,  indent=4)

# 将合并后的JSON输出到一个文件中
with open('merged_data.json', 'w', encoding='utf-8') as f:
    f.write(merged_json)

注意如果你的表内容不大,可以选择使用sql或者pandas中的merge进行关联合并,代码如下

  • sql中left join语句
SELECT a.ID, a.VALUE, n. NOTE
FROM {table_name_1} a
LEFT JOIN {table_name_2} n ON a.ID = n.ID 
WHERE a.id in (619,776,2547,12715069,13206239) 
  • python 中pd.merge
##----运行成功
import pandas as pd
import cx_Oracle as cx
from sqlalchemy import create_engine
def visitOracle(sql):
    # 数据库连接信息
    dsn_tns = cx.makedsn(('YOUR_HOST', 'YOUR_PORT', service_name='YOUR_SERVICE_NAME')
    conn = f"oracle+cx_oracle://{YOUR_USERNAME}:{YOUR_PASSWORD}@{dsn_tns}"
    # 创建数据库引擎
    engine = create_engine(conn)
    # 使用pandas的read_sql_query方法执行查询并获取结果
    df = pd.read_sql_query(sql, con=engine)
    # 关闭数据库连接
    engine.dispose()
    return df

##诊疗记录
sql1 = "select id, {value_column} FROM {table_name} where rownum<=5""
df1 = visitOracle(sql1)
print(df1)
sql2 = "select id, {value_column} FROM {table_name} where rownum<=5""
df2 = visitOracle(sql1)
print(df2)
# ----------pd合并两张表的数据
# 根据ID将两张表的数据合并
merged_df = pd.merge(df1, df2,  on='id', how='outer', suffixes=('', '_s'))
print(merged_df)
  • 9
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
可以使用pandas库来实现这个功能。具体步骤如下: 1. 连接数据库,使用pandas的read_sql函数分别读取两张表中需要比对的字段,将它们转换为DataFrame类型; 2. 使用pandas的merge函数对两个DataFrame进行合并,根据需要比对的字段进行合并; 3. 使用pandas的isnull函数判断合并后的DataFrame中是否存在缺失值,如果存在,则说明两张表中有不同的数据; 4. 如果合并后的DataFrame中存在缺失值,则可以使用pandas的dropna函数删除缺失值所在的行,得到两张表中不同的数据。 下面是一个示例代码,假设需要比对表A中的col1和col2字段和表B中的col1和col2字段: ```python import pandas as pd import pymysql # 连接数据库 conn = pymysql.connect(host='localhost', user='root', password='123456', database='testdb') # 读取表A中需要比对的字段 df1 = pd.read_sql('SELECT col1, col2 FROM tableA', con=conn) # 读取表B中需要比对的字段 df2 = pd.read_sql('SELECT col1, col2 FROM tableB', con=conn) # 合并两个DataFrame df_merge = pd.merge(df1, df2, on=['col1', 'col2'], how='outer', indicator=True) # 判断是否存在缺失值 if df_merge['col1'].isnull().sum() > 0 or df_merge['col2'].isnull().sum() > 0: # 删除缺失值所在的行 df_diff = df_merge.dropna(subset=['col1', 'col2']) # 输出不同的数据 print(df_diff) else: print('两张表中的数据完全相同') # 关闭数据库连接 conn.close() ``` 需要注意的是,在实际使用中需要根据具体情况修改SQL语句和需要比对的字段

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值