tp6批量导入数据库去重问题

最新推荐文章于 2024-07-30 08:00:00 发布

yang_ldgd

最新推荐文章于 2024-07-30 08:00:00 发布

阅读量1.1k

点赞数 1

分类专栏： tp6 文章标签： php

本文链接：https://blog.csdn.net/yang_ldgd/article/details/118573592

版权

tp6 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

这篇博客探讨了两种处理数据库中重复数据的方法。一种是在插入时使用`ON DUPLICATE KEY UPDATE`语句来更新已有记录的指定字段。另一种是通过`REPLACE`方法先删除重复数据再进行插入。这两种策略在数据合法性验证和错误处理方面有所不同，影响的记录数可以作为操作成功与否的指标。

摘要由CSDN通过智能技术生成

重复数据在数据库执行更新操作

$insertAllSql = Db::name(self::$tableName)->strict(false)->fetchSql(true)->insertAll($value);
$insertAllSql .= ' ON DUPLICATE KEY UPDATE province_id = values(province_id), city_id = values(city_id), region_id = values(region_id), company_name = values(company_name), industry_involved = values(industry_involved), industry_id = values(industry_id), industry_pid = values(industry_pid)';
$res = Db::execute($insertAllSql);

execute用于更新和写入数据的sql操作，如果数据非法或者查询错误则返回false，否则返回影响的记录数。

重复数据在数据库先删除后添加

$res = Db::name(self::$tableName)->strict(false)->replace()->insertAll($value);

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yang_ldgd

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Qt开发经验总结

草上爬的博客

12-02

8296

增加了很多轮子，同时原有模块拆分的也更细致，估计为了方便拓展个管理。把一些过度封装的东西移除了（比如同样的功能有多个函数），保证了只有一个函数执行该功能。把一些Qt5中兼容Qt4的方法废弃了，必须用Qt5中对应的新的函数。跟随时代脚步，增加了不少新特性以满足日益增长的客户需求。对某些模块和类型及处理进行了革命性的重写，运行效率提高不少。有参数类型的变化，比如 long * 到 qintptr * 等，更加适应后续的拓展以及同时对32 64位不同系统的兼容。

tp5 tp6 leftjoin 联表查询，子表有多个记录去重后获取子表最新那条记录

php菜鸟技术天地

01-21

2423

左联子表： LEFT JOIN ( SELECT * FROM 'order_efali` ORDER BY `id` DESC ) AS ohe ON `ohe`.`number` = `o`.`number` TP写法： $rrc= Db::name('order_history') ->order('id desc') ->buildSql(); $rsu = Db::nam...

参与评论您还未登录，请先登录后发表或查看评论

thinkphp的学生表的上传，导入以及去重

qq_41860519的博客

04-01

274

1.上传，导入文件首先在控制器写一个上传的方法upload；之后再写一个导入的方法import。 upload方法（上传）：实例化一个上传类，写相应的上传文件的属性，如：上传文件的大小，上传文件的类型，上传文件的路径等等，上传文件。最后有（上传成功/上传失败）提示信息。 import方法（导入）：首先判断上传文件的格式（utf-8/g...

详细分析Mysql去重的几种方法（附Demo）

最新发布

码农研究僧的博客

07-30

2243

在MySQL中，SELECT DISTINCT 和 GROUP BY 可以用来去除重复记录，二者有相似的功能，但在某些情况下有所不同

Thinkphp中实现文件上传及去除重复数据

Heidou2333的博客

03-29

1045

1.首先第一步我们应该在控制器中写关于文件上传的方法我在这里是用的upload（）来命名文件上传方法的，下面就是我写的代码：代码的开头是判断是否是GET方式提交的，如果是则显示页面并不执行后面的代码直接退出。ThinkPHP文件上传操作使用 Think\Upload 类，所以我们应先实例化上传类$upload，然后设置附件上传的大小（$upload->maxSize），上传的类型（$up...

tp6 count distinct统计时根据字段去重

weixin_43852196的博客

05-27

2529

代码： AppointmentModel::field(['identity'])->count('distinct identity') 生成的sql： SELECT COUNT(DISTINCT `identity`) AS think_count FROM `dg_appointment`; 下面是tp6手册内容我尝试着这样写发现生成的sql不对 AppointmentModel::distinct(true)->field(['identity'])->count('id

TP6关联统计无法去重的解决方案

baidu_36095053的博客

02-15

655

在tp6中官方手册跟源码中是没办法做到去重关联统计的，因为源代码中的withCount方法，默认是以“*”进行统计。当我们想要统计类型有多少，而不是数量有多少的时候就会非常麻烦。这时候需要修改源码，将默认的“*”，改成传参的方式，在调用的时候可以使用 “distinct filed"的方式去重了。

tp 用group去重

weixin_30455023的博客

09-07

244

$baseGoodIds_arr = [1,2,3,4,5,6,7,8,9];$relate_gimgs = D('GoodsImages')->where(['good_id' => ['in',$baseGoodIds_arr]])->limit($gimgs_limit)->group('weight')->select();dump($relate_gimgs...

tp5插入数据重复时更新, 没有重复则插入新数据的sql写法

miracle

07-11

9207

平常我们插入数据时间一般都是这样用的 Db::name('table_name') ->insert($data) 其实insert不止可以传入一个参数, 查看源码可知道, 只要第二个字段传入true时, 如果遇到重复数据那么tp就是更新这条数据而不是插入新数据. 同时注意要一个字段唯一的这样才会触发数据重复条件,(比如某个字段设置了唯一索引或者主键这样的字段才会触发重复) Db:...

php处理excel里面的重复数据,Excel导入时，跳过重复数据，并提示重复数据数量与明细...

weixin_35176891的博客

03-11

786

如图，在Excel导入插件中，当上传Excel表时，如何判断已有表中，指定某字段的重复数据，最终该数据只导入新数据，并提示重复数据数量与明细？附相关代码。publicfunctionimport(){if(IS_POST){$table=$this->input->post('table');if($_FILES["file"]["error"]>0){$t...

大数据背景下的银行个人征信体系研究

程序员光剑

05-30

926

大数据背景下的银行个人征信体系研究 1.背景介绍 1.1 个人征信的重要性在当今社会中,个人征信体系对于维护金融秩序、促进社会信用建设发挥着至关重要的作用。银行作为主要的信贷机构,对个人征信体系的建立和完善尤为重视。良好的个人征信记录不

ThinkPHP 批量添加数据

03-29

适合TP初学者下载参考，我也是新手，拿上来分享下，老鸟请勿喷。

【硬刚大数据】从零到大数据专家之Apache Doris篇

微信搜：import_bigdata，大数据领域硬核原创作者

08-14

1584

欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...

AI + 网络安全攻防领域:基于人工智能、数据分析和机器学习的方法来预防网络钓鱼和垃圾邮件 Ways to Prevent Spam Emails and Phishing Attacks

程序员光剑

08-08

2381

电子邮件的迅速增长已经成为影响全球经济、社会和民生的重要因素之一。大规模的网络邮件、社交媒体消息等传播手段促使消费者对各种信任源、商家和个人发送的信息质量产生了依赖。过分依赖、错误的选择或被骗诈骗等恶意攻击行为在当今时代已经成为不可接受甚至危险的现象。而如何提升个人信息安全、降低网络邮件的风险、保护用户的隐私数据，成为许多企业和个人共同关注的问题。在本文中，我们将从三方面介绍基于人工智能、数据分析和机器学习的方法来预防网络钓鱼和垃圾邮件：1) 漏洞百出的网络安全漏洞；

thinkphp导入Excel去重

锅巴胸的博客

05-25

1590

thinkphp导入Excel时去除重复项，如果数据库没有就导入，如果数据库有这条数据就更新

如何使用PHP防止数据重复导入，完整实例代码带你一步步实现

奇妙的Bug之旅

01-09

516

在进行数据导入时，我们经常会遇到一个问题，就是如何防止数据重复导入。重复数据的导入会使数据库中出现重复的记录，导致数据冗余和混乱。为了解决这个问题，我们可以通过在导入数据之前进行判断，避免重复导入相同的数据。本文将介绍如何使用PHP来防止数据重复导入，并提供相关的实例代码。

tp6数据库链式操作之duplicate案例

slongzhang的博客

04-12

1508

TP6 关于duplicate的详细用法

tp（批量）插入数据忽略重复项

s2469397457的博客

07-17

532

我用的6，里面有一个replace，然而并没有什么用。（反正我是用这个没能弄出来）字段设置唯一或者主键此时便会生效，请谨慎。不设置没有影响，放心服用。如果没动代码的话应该是937行，也就是这一行的下面。所以我想到了另一个方法，改一下tp最后生成sql。但是很不幸，tp没有。但是，原生的sql有一个。搞定，其他的以此类推。

tp3.2.2 上传文件将数据导入数据库去重复并下载

lff的博客

03-29

707

我想上传一个csv文件并将其数据导入到student数据表中，以学号为主键，如果表中存在该学号，则返回“no已存在”并存入名为demo.txt的日志文件中，如果不存在该no，则当前行数据存入数据表并返回“no导入成功”存入日志文件中，点击下载按钮，自动下载demo.txt。我们用thinkphp3.2实现。php代码：(tp3.2.2)//导入 public function u...

tp6批量插入数据怎么去重

05-23

在TP6中，可以使用以下方式实现批量插入数据并去重： 1. 首先定义需要插入的数据，例如： ``` $data = [ ['name' => '张三', 'age' => 20], ['name' => '李四', 'age' => 22], ['name' => '王五', 'age' => 25], ['name' => '张三', 'age' => 20], ]; ``` 2. 接着，使用TP6的Db类进行批量插入，并加上`ignore`关键字，表示在插入时遇到重复数据就忽略掉，例如： ``` $result = Db::name('user')->ignore(true)->insertAll($data); ``` 上述代码中，`ignore(true)`表示开启忽略重复数据的功能。 3. 执行上述代码后，$result变量会返回成功插入的数据条数，即忽略掉的重复数据不会被计入其中。