如何使用python来提高MySQL批量取数据的效率

最近我在处理业务的时候会发现有一个很明显的需求,就是当我们从其他系统导入数据的时候如何高效的批量获取数据,写入到自己的数据库? 最开始的时候,这个问题我并没有细想,具体来说的话就是: 当我想要获取订单信息的时候,同时我可能也需要获取商品和用户信息,但是这些信息可能并不是在一个表中,所以需要从订单表(假设这里是pay_order表)中去查询商品以及买家id,然后向用户id表去请求数据。针对于想要获取某一天的数据,这一块要怎么做呢?按照以往的经验,最开始我是这样设计的 def _...
摘要由CSDN通过智能技术生成

 最近我在处理业务的时候会发现有一个很明显的需求,就是当我们从其他系统导入数据的时候如何高效的批量获取数据,写入到自己的数据库?

  最开始的时候,这个问题我并没有细想,具体来说的话就是:

  当我想要获取订单信息的时候,同时我可能也需要获取商品和用户信息,但是这些信息可能并不是在一个表中,所以需要从订单表(假设这里是pay_order表)中去查询商品以及买家id,然后向用户id表去请求数据。针对于想要获取某一天的数据,这一块要怎么做呢?

 按照以往的经验,最开始我是这样设计的

    def _get_transation_daily_info(self, order_type):
        if order_type == 0:
            sql = F"select id,source_id,pay_time,payer_id,product_id,mp_id,product_name,pay_channel,extra,fee from {PAY_INVOICE}" \
                  F" where pay_time>='{self.start_time}' and pay_time< '{self.end_time}' "

       result, data_order = SQLHandle.execute_sql(sql, db_app=APP_NAME_EXAMPLE)

        
        for data in data_order:
            nickname = self.get_nick_name(data.get('payer_name'))
            produc
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值