Python批量插入数据库表数据

import pandas as pd
from sql_connector import ConnectorJavaTest
from datetime import datetime


# 读取Excel表格
df = pd.read_excel(r'C:\Users\wangkejun\Desktop\MX.xlsx')

results = []

# 创建一个空的DataFrame
data = pd.DataFrame(columns=['sku', 'tag_id', 'update_time'])

# 遍历数据框中的每一行,逐行处理
for index, row in df.iterrows():
    # 获取Word1和Word2值
    word1 = row['Word1'].capitalize()
    word2 = row['Word2'].capitalize()

    # 拼接SQL语句,查询t_mercadolibre_sift表,获取sku和title列
    query = f"SELECT sku, title FROM t_mercadolibre_sift WHERE title LIKE '%{word1}%' AND title LIKE '%{word2}%'"

    results = ConnectorJavaTest().read_sql(query)
    print(results)

    # 获取查询结果,并将sku保存到列表中
    skus = list(set(results['sku']))
    print(len(skus))

    # 如果查询结果非空,则继续进行操作
    if skus:
    # 查询目标表中已存在的sku和tag_id组合
        if len(skus) == 1:
            existing_data_query = f"SELECT sku, tag_id FROM t_mercadolibre_tag_sub_mapping WHERE sku = {skus[0]} AND tag_id = 83"
        else:
            existing_data_query = f"SELECT sku, tag_id FROM t_mercadolibre_tag_sub_mapping WHERE sku IN {tuple(skus)} AND tag_id = 83"

        existing_data = ConnectorJavaTest().read_sql(existing_data_query)
        

        # 去除重复的sku行,并只保留一行
        skus = list(set(skus) - set(existing_data['sku']))
        
        # 分批插入数据
        batch_size = 1000
        skus_batches = [skus[i:i + batch_size] for i in range(0, len(skus), batch_size)]

        # 创建新的行
        current_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')

        for sku_batch in skus_batches:
            # 将每个批次的数据转换成DataFrame格式
            batch_data = pd.DataFrame({
                'sku': sku_batch,
                'tag_id': 83,
                'update_time': current_time
            })

            # 将数据插入到目标表中
            ConnectorJavaTest().to_sql(batch_data, table_name='t_mercadolibre_tag_sub_mapping', if_exists='append', index=False)
  1. 根据Word1和Word2的值拼接SQL语句,查询名为t_mercadolibre_sift的表,获取符合条件的sku和title列。
  2. 将查询结果中的sku保存到列表中,并根据这些sku查询t_mercadolibre_tag_sub_mapping表中已存在的sku和tag_id组合。
  3. 对查询结果进行处理,去除重复的sku行,并将剩余的数据分批插入t_mercadolibre_tag_sub_mapping表中,每批次的数据包括sku、tag_id和update_time字段。
  • 18
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值