foreacg去除重复数据php,php foreach中一个变量重复赋值是否会不断消耗内存?

foreach ($arr as $key => $value) {

$res = $this->querydata($value);

$data = array('res'=>$res);

M('test')->add($data);

}

如上demo,$res会获取到一个很大的数据,然后存入数据库中,这个foreach循环次数很多,而且每次循环我都没有unset($res),因为我认为重复赋值不会重新消耗内存。。。但好像被打脸,报错了:

c4ec4cfbbf8e3e2727111b5dc14ef6f9.png

说超出内存限制128M了。。。请教大神foreach中一个变量的重复赋值会不会一直消耗内存? ( ps: querydata()这个方法有用到curl请求,在这个循环里也就是不断的请求数据)

更新:真实完整代码如下

// 获取到最新分页的酒店id

$arr = $this->queryHotelIdList();

if($arr['retrunCode'] == '000'){

for($i=$play['cur_page'];$i<=$arr['bussinessResponse']['totalPage'];$i++){

$page = $i;

$arr = $this->queryHotelIdList($page);

M('play')->where("id={$play['id']}")->save(array('cur_page'=>$page));

// 将1000个id的数组拆分100个10个为一组的二维数组

$ten_arr = array_chunk($arr['bussinessResponse']['hotelIds'], 10);

// 循环这个二维数组,每一次循环获取10家酒店的基本信息,转json存为一条记录

foreach ($ten_arr as $key => $value) {

$res = $this->queryHotelInfo($value);

if($res['retrunCode'] == '000'){

$data = [];

$data['page'] = $page;

$data['json_data'] = json_encode($res['bussinessResponse']['hotelInfos']);

$titan_data_model->add($data);

unset($data);

}else{

// 失败则将这10个酒店id记录下来

$failed_ids = implode(',',$value);

$data = [];

$data['hotel_ids'] = $failed_ids;

$data['error_msg'] = $res['retrunMsg'];

$data['page'] = $page;

$titan_fail_hotel_ids_model->add($data);

}

unset($res);

$memory = memory_get_usage();

echo intval($memory/1024);

echo "
";

ob_flush();

flush();

}

// 睡眠30秒,以保证不超过300/分钟的请求次数限制

sleep(30);

}

}

里面的queryHotelIdList和queryHotelInfo都是一个封装好的curl请求,返回一个较大的数据,但不会超过1M

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在使用 PHP 的 `foreach` 循环读取 JSON 数据,并将其插入到数据库时,可以采用以下一些方法来防止插入数据重复: 1. 设置数据库字段的唯一性约束,例如将某个字段设置为主键或唯一索引,当插入时如果该字段的值已经存在,则触发唯一性约束的异常,从而防止插入重复数据。 2. 在插入数据前,先进行查询,检查该数据是否已经存在于数据,如果存在,则不进行插入操作。 例如,可以先查询某个字段的值是否已经存在,例如: ```php // 假设 $data 是从 JSON 数据读取出来的一条记录 $value = $data['field_name']; $sql = "SELECT COUNT(*) FROM table_name WHERE field_name = :value"; $stmt = $pdo->prepare($sql); $stmt->bindParam(':value', $value); $stmt->execute(); $count = $stmt->fetchColumn(); if ($count == 0) { // 该记录不存在,进行插入操作 // ... } ``` 3. 可以使用 `INSERT IGNORE` 或 `INSERT ... ON DUPLICATE KEY UPDATE` 等语法进行插入操作,这些语法在插入数据时,如果遇到重复的键值,则忽略插入或者更新已有数据。 例如,使用 `INSERT IGNORE` 语法进行插入操作: ```php // 假设 $data 是从 JSON 数据读取出来的一条记录 $sql = "INSERT IGNORE INTO table_name (field1, field2, field3) VALUES (:val1, :val2, :val3)"; $stmt = $pdo->prepare($sql); $stmt->bindParam(':val1', $data['field1']); $stmt->bindParam(':val2', $data['field2']); $stmt->bindParam(':val3', $data['field3']); $stmt->execute(); ``` 以上是几种常见的防止插入重复数据的方法,具体使用哪种方法,可以根据实际情况进行选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值