tp5插入百万条数据处理优化

<?php
namespace app\index\controller;
use think\Controller;
use think\Db;

class Charu extends Controller
{
    public function index(){
        date_default_timezone_set("PRC");
        // 此处修改php.ini的内存,不然无法执行插入,因为数据量太大
        ini_set('memory_limit','1024M');
        echo date('Y-m-d H:i:s').'<br>';
        $start = time();
        $data = array();
        for($i=0;$i<1000000;$i++){
            array_push($data,['name'=>'测试','age'=>10]);
        }
        print_r(db('charu')->insertAll($data));
        $end = time();
        echo '<br>'.date('Y-m-d H:i:s').'<br>';
        $a = $end-$start;
        print_r('耗时分秒  '.date('i:s',$a));
    }
}

遇到下面的错误就表示你php.ini文件设置的内存值不够放

 

Fatal error: Allowed memory size of 157286400 bytes exhausted (tried to allocate 32 bytes) in 

 

第一种解决方案是:在PHP文件中加入ini_set(”memory_limit”,”80M”);当然80M可以根据自己的情况改动,也不要太大哦,否则系统其它资源会遇到问题哦,其中-1为不设限。

我用的是第一种方法

第二种解决方案是:修改 php.ini配置文件,在php.ini中找到

memory_limit = 16M,将前面的分号去掉,改动值的大小,将memory_limit由8M改成16M(或更大),重启apache服务即可。

 

转载于:https://www.cnblogs.com/lcxin/p/11533686.html

### 数据清洗概述 数据清洗是指检测并纠正或移除数据库中的错误、不一致的数据的过程。这可以提高数据分析的质量和准确性。对于MySQL这样的关系型数据库管理系统,可以通过多种方式实现数据清洗。 #### 使用SQL语句进行简单清洗 对于简单的数据清洗需求,可以直接利用SQL内置的功能完成一些基本操作。例如,当面对缺失值时,虽然理论上可以用`AVG()`函数计算列的平均值来填补这些空白[^1],但在实际工作场景中更常见的是采用编程语言配合批量处理的方式来进行更为复杂的数据预处理任务。 #### 更新特定字段值 针对项目ID被统一替换的情况,如果`t_arch`表下的`project_id`保持正确而`t_project`未经历相应更改,则说明后者尚未同步更新至最新状态[^2]。此时应当依据业务逻辑调整涉及表格间的关系映射,并确保所有关联表都能反映最新的变更情况。 ```sql UPDATE t_project tp JOIN ( SELECT project_id FROM t_arch WHERE condition ) ta ON tp.project_id = ta.project_id SET tp.column_name='new_value'; ``` 此段代码展示了如何基于另一个已知条件从其他表获取信息并对目标表实施修改。 #### 处理大规模数据集 考虑到性能因素,在面对海量记录(如超过百万级别)时不宜一次性加载过多行数以免造成内存溢出等问题。合理设置每批次读取的数量有助于平衡速度与资源消耗之间的关系;通常建议单次提取几千条左右较为合适[^3]。此外,随着偏移量增大查询耗时也会增加,因此推荐引入辅助索引来加速定位过程: ```sql CREATE INDEX idx_column ON table(column); ``` 创建索引能够显著改善检索效率特别是当涉及到范围查找或是频繁访问某些特定属性的情况下。 #### 基于日志重放机制恢复/修正异常变动 最后一种方法适用于那些由于误操作等原因导致部分时段内产生了不合规格的数据的情形。通过解析事务日志文件得知具体的增删改动作后,再依照相反顺序逐一撤销直至恢复正常秩序为止[^4]。 ```sql IF operation_type IN ('INSERT', 'UPDATE') THEN BEGIN TRY -- 执行插入或更新命令... END TRY BEGIN CATCH -- 若失败则尝试回滚至上一版本... END CATCH; ELSE IF operation_type = 'DELETE' THEN DELETE ... ; ``` 以上即是在MySQL环境中开展数据清理工作的几种典型手段及其应用场景介绍。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值