batch批量获取数据和批量插入batchInsert工作总结

近期用到同步数据的工具,就是将一个网站的订单信息同步到一个后台订单系统中,由于订单数据量较大,

    所以就用到了"批量" --- 批量获取 批量插入

1: 获取对象

        $query = HmhOrder::find()
            ->select('id ,uid, order_no, remark, total_pay, pay_type, trade_no, order_from, create_at, update_at, pay_at, pay_status, is_del');

        if ($starTime && $endTime) {
            $query->andFilterWhere(['between', 'create_at', $starTime, $endTime]);
        }

        $query->with(['uid'=>function($query) {
            return $query->select('contact_id, truename');
        }])->asArray();
注意: 上面就是你使用batch之前,要获取对象$query, 其中asArray一定不能忘,因为后面你要遍历得到数组.....

2: batch的使用:

下面就是使用batch(), 每次取多少条数据,此时我设置的100条

foreach ($query->batch(100, Yii::$app->crmDb) as $rows) {
    if (!$rows || !is_array($rows)) {
        echo $this->stdout("无数据信息!\n", Console::BOLD);die;   //这行是我用控制台输出的方式,让显示有点颜色
    }

    //遍历每一组数据,进行拆分各个字段,进行组合
    foreach ($rows as $key => $value) {
    	//下面就是遍历你取出的每一条数据
    	......
	}
}
提示:
Yii::$app->crmDb  这是我的本地common/config/main-local.php文件下指向数据库以及数据库名字,密码,表前缀,等等
例如:
return [
    'components' => [
        'crmDb' => [
            'class' => 'yii\db\Connection',
            'dsn' => 'mysql:host=localhost;dbname=crm_test',
            'username' => 'root',
            'tablePrefix' => 'hm_',
            'password' => '199285',
            'charset' => 'utf8',
        ],
     ],
];

3: 批量插入batchInsert 到另一张表中
$result = Order::find()
    ->createCommand()
    ->batchInsert(Order::tableName(),$keys,$data)
    ->execute();
其中:
	batchInsert() 里面有三个参数: 表名 要插入的表字段数组 要插入的表数据
	$keys 是你要插入的表字段数组, 例如: ['name', 'age']
	$data 是你要批量插入的数组集合(记得是一个二维数组哦!) 
		例如:[['Tom', 30],['Jane', 20],['Linda', 25]]
以上就是我觉得比较应该注意的要点吧! 比较零散,是我从代码中抠出来的!........


@@ 下面是我的项目代码示例:

common/config/main-local.php配置文件:
<?php
return [
    'components' => [
        'db' => [
            'class' => 'yii\db\Connection',
            'dsn' => 'mysql:
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
提供的源码资源涵盖了Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试,可以直接运行,可以放心下载使用。有任何使用问题欢迎随时与博主沟通,第一时间进行解答!
使用insert语句批量插入数据是一种常见的操作。根据个人经验,为了在尽可能短的时间内完成插入大量数据的工作,可以采取以下几个技巧。首先,在进行数据插入之前,特别是在非生产环境中,建议将表的索引和约束去掉。这样可以提高插入数据的速度。然后,可以使用基础的insert语句将一个表中的数据插入另一个表中。例如,将tab2表中的数据插入到tab1表中。根据经验,对于千万级的数据,可以在1小时内完成插入操作。然而,使用这种方法可能会导致大量的归档产生,需要关注归档的产生量,并及时启动备份软件,以避免归档目录过大。另外,还可以使用存储过程来批量插入数据。通过定义一个存储过程,可以在事务内循环插入数据,从而提高插入的效率。例如,可以创建一个存储过程batchInsert,定义一个循环变量i,通过循环插入数据到表中。在插入完成后,需要使用commit语句来提交事务。调用这个存储过程时,可以传入参数来指定需要插入的数据量。例如,调用batchInsert(100000)可以生成10万条数据。这样的批量插入方法可以极大地提高插入数据的效率。123 #### 引用[.reference_title] - *1* *2* [使用insert插入大量数据的总结](https://blog.csdn.net/weixin_33747129/article/details/92748085)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item] - *3* [【数据库】实现批量快速插入大量数据的六种方案](https://blog.csdn.net/USTSD/article/details/126863089)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值