最近我在处理业务的时候会发现有一个很明显的需求,就是当我们从其他系统导入数据的时候如何高效的批量获取数据,写入到自己的数据库?
最开始的时候,这个问题我并没有细想,具体来说的话就是:
当我想要获取订单信息的时候,同时我可能也需要获取商品和用户信息,但是这些信息可能并不是在一个表中,所以需要从订单表(假设这里是pay_order表)中去查询商品以及买家id,然后向用户id表去请求数据。针对于想要获取某一天的数据,这一块要怎么做呢?
按照以往的经验,最开始我是这样设计的
def _get_transation_daily_info(self, order_type):
if order_type == 0:
sql = F"select id,source_id,pay_time,payer_id,product_id,mp_id,product_name,pay_channel,extra,fee from {PAY_INVOICE}" \
F" where pay_time>='{self.start_time}' and pay_time< '{self.end_time}' "
result, data_order = SQLHandle.execute_sql(sql, db_app=APP_NAME_EXAMPLE)
for data in data_order:
nickname = self.get_nick_name(data.get('payer_name'))
produc