mysql数据 并去重相加_mysql重复数据表如何根据字段去重的问题

最新推荐文章于 2022-04-07 09:57:21 发布
最新推荐文章于 2022-04-07 09:57:21 发布
阅读量1.1k 收藏
点赞数
文章标签： mysql数据 并去重相加
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34583171/article/details/113611276
版权

现在有一个表，表的数据主要是有一个phone字段，这个字段会有很多重复的数据

现在我需要查出这个表的数据并根据phone这个字段去除重复数据

我现在是用group by处理 但是发现数据量大了之后有性能问题

求问下有没有什么办法可以解决

建索引，使用sphinx辅助mysql

分组统计操作放到程序中

1、如果不需要即时获取这个信息的话，可以异步处理，利用定时任务或mysql事件和存储过程来不停处理这个任务。

2、如果实时性要求高的话，可以使用redis或memcache再缓存一下。

3、海量数据的话要考虑分表，这样可以快速的获取需要的数据。

索引，分库，分表，nosql定时写库。

给phone字段加上索引

加索引 or 建分表

对于内容重复率特别高的列(如性别)加索引,并不能实现优化,反而会增加索引维护的开销.

如果phone列重复率不是那么高,可以考虑创建索引,具体用MySQL的explain来执行对该列建立索引后的查询,看看相比原来是否有更好的性能.如果发现MySQL放弃使用该列索引,那么该列应该是不适合建立索引的.

题外话:建立联合索引时,也要考虑把重复率低而又用得多的列放在前面.

为什么不先查询出来，然后在进行数组去重呢？

海量的数据不可能是要全部显示吧，可以分批处理，交由php处理

玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/wenda/wd14083.html

相关文章 Recommend

破碎龙心
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MYSQL采用union all 合并去重，相同值累加
weixin_30746117的博客
07-25 2821
SELECT pe.person_type AS personType, '0' AS plaitAmount, '0' AS id, COUNT(pe.id) AS strengthAmount FROM t_person pe WHERE pe.deleted = 0 AND pe.department_id = 5 GROUP BY pe.person_type UNI...
mysql数据 并去重相加,mysql---union的用法
weixin_33410914的博客
03-24 2248
union的作用很简单用来合并两条sql的结果集语法: SQL1 UNION SQL2现有一张价格表要求：求出价格低于2000和价格高于3000的商品，不能用or和not between……and思路：我们可以先求出低于2000的商品得到结果集1再求出高于3000的商品得到结果集2再利用union合并结果集1和结果集2什么时候才允许使用union？答：只要两个结果集的列数相同就可以使用，即使字段类...
MySQL去重的方法整理
09-09
主要介绍了MySQL去重的方法整理的相关资料,需要的朋友可以参考下
mysql+求和去重复项_解决MySQL左联LIFT JOIN做求和数据出现重复数据。
weixin_39641231的博客
01-19 1377
SELECTGROUP_CONCAT( DISTINCT fa.nickname ),GROUP_CONCAT( DISTINCT ev.facility_id ),CONVERT (SUM( ev.income ),DECIMAL ( 10, 2 )) AS su,COUNT( ev.income ),GROUP_CONCAT( ev.income )FROMevery_day_income A...
mysql数据 并去重相加,【数据库】mysql的一些高级用法
weixin_34540485的博客
03-24 745
当我们掌握了Mysql的基本操作，比如建表语句，简单的sql语句等，我们还可以对mysql本身做一些配置操作，甚至是对Mysql进行优化。更多mysql高级知识请移步ki4网mysql教程频道。1、mysql的配置文件。在windows中是my.ini文件：1)、log-bin：表示主从复制的日志文件，用于主从复制。2)、log-error="SO3JFYNN8EW6GMO.err"：表示错误日志...
MYSQL替换时间(年月日)字段时分秒不变实例解析
09-09
根据MySQL的规则，你不能在一个 `FROM` 子句中直接引用正在更新的表。这种情况下，你可以将子查询转换为临时表或变量来解决这个问题。 总结来说，替换时间字段的年月日部分但保留时分秒的方法包括使用 `REPLACE`、`...
MySQL对window函数执行sum函数可能出现的一个Bug
12-14
问题点：在sum对window函数执行时，如果有重复数据，会直接把相同的数据相加，并不是逐步相加。 问题描述 数据：在一个成绩表中，有三个个字段：学生s_id，课程c_id，成绩s_score。 查询条件查询每个课程的学生成绩...
Mysql如何查询某条记录在分页的第几页详析
09-09
在MySQL数据库操作中，分页查询是常见的需求，特别是在数据量较大的时候，为了提高用户体验，通常会采用分页展示数据。本文将详细讲解如何查询某条记录在分页中的具体位置，以及面对多维度排序时如何定位记录。 ...
MySQL存储IP地址的方法
09-10
在MySQL中，存储IP地址的方法通常涉及到性能优化和数据类型的合理选择。IP地址通常表示为四段式的点分十进制格式，例如“192.168.1.1”。然而，直接使用VARCHAR类型存储IP地址并不一定是最佳实践，因为它会增加存储...
MySQL笔记之运算符使用详解
09-10
MySQL中的运算符是数据库操作的重要组成部分，它们允许我们执行各种计算和比较，以处理和查询数据。以下是对四种主要运算符的详细说明： 1. **算数运算符**： - 加法（+）：例如 `a + b` 用于将两个数值相加。 - ...
将MySQL去重操作优化到极致的操作方法
12-16
•问题提出 源表t_source结构如下： item_id int, created_time datetime, modified_time datetime, item_name varchar(20), other varchar(20) 要求： 1.源表中有100万条数据，其中有50万created_time和item_name重复。 2.要把去重后的50万数据写入到目标表。 3.重复created_time和item_name的多条数据，可以保留任意一条，不做规则限制。 •实验环境 Linux虚机：CentOS release 6.4；8G物理内存（MySQL配置4G）
MYSQL中有关SUM字段按条件统计使用IF函数(case)问题
01-19
今天群里有人问了个问题是这样的：  然后有群友是这样回答的 代码如下: select name,sum(case when stype=4 then money*(-1) else money end ) as M from table group by name 我想了想，应该可以用IF函数 于是改了下 代码如下: select name,sum(money*IF(stype=4,-1,1)) as M from table group by name 两种方式那种更效率还未测试。 您可能感兴趣的文章:MySQL 统计查询实现代码如何
MySQL针对某一字段出现多次重复值处理(删除多余,只保留一条)
Climber813
04-27 5523
解决思路: 删除表中多余的重复记录，重复记录是根据单个字段 (字段1) 来判断，只保留id最小的记录. 根据以上思路有了下面SQL语句: DELETE FROM table_name WHERE 字段1 IN ( SELECT 字段1 FROM table_name GROUP BY 字段1 HAVING count( 字段1 ) &g...
MySQL先去重再求和_mysql - 分组查询
weixin_36076139的博客
02-08 6275
分组函数，又称聚合函数，是将一类数据统计后获得一个值1. 计算：sum 求和avg 平均值max 最大值min 最小值count 个数 不管什么引擎下，count(*)效率最高以上函数忽略null值2.distinct 去重sum(distinct id)先去重，再求和。3.group by 分组先分组，再统计SELECT money, COUNT(*) FROM account GROUP...
mysql的去重distinct 并计算总和count
m0_67266787的博客
04-07 1420
MySql实现根据某个条件去重求和
热门推荐
qq_36014509的博客
08-09 1万+
具体的可以看下  distinct 具体用法     //第一图 直接查询出所有的id SELECT d.id FROM t_device d LEFT JOIN t_device_collect_state a on d.id = a.device_collect_id LEFT JOIN t_group b on d.group_id = b....
mysql 相同字段相减_phpmysql数据库找出最近相同内容的字段，用它们的id相减输出差...
weixin_30590247的博客
02-18 282
表mydb1、字段：(id、期数、号码1、号码2、号码3)，每期开奖号有三个数字(如356)。其中的3是(号码1字段)、5是(号码2字段)、6是(号码3字段)。等到n期后开奖号又出现356时就用这次356的id减去前一次356的id输出差。$array = array();while($row = mysql_fetch_assoc($result)){if(in_array($row['cont...
golang 获取mysql 并对其中字段相加
最新发布
06-01
可以使用 Go 语言中的 database/sql 和 github.com/go-sql-driver/mysql 包来连接 MySQL 数据库并进行查询。以下是一个简单的示例代码，可以连接到 MySQL 数据库，查询一个表中的多条记录，并对其中一个字段进行相加： ```go import ( "database/sql" _ "github.com/go-sql-driver/mysql" ) func main() { // 连接到 MySQL 数据库 db, err := sql.Open("mysql", "user:password@tcp(127.0.0.1:3306)/database_name") if err != nil { panic(err.Error()) } defer db.Close() // 执行查询 rows, err := db.Query("SELECT SUM(column_name) FROM table_name") if err != nil { panic(err.Error()) } defer rows.Close() // 处理查询结果 var sum int for rows.Next() { err := rows.Scan(&sum) if err != nil { panic(err.Error()) } } if err := rows.Err(); err != nil { panic(err.Error()) } // 输出相加结果 fmt.Println("Sum of column_name:", sum) } ``` 在这个示例中，我们首先使用 sql.Open() 函数连接到 MySQL 数据库。然后，我们使用 db.Query() 函数执行一个查询，并将结果存储在一个 sql.Rows 对象中。接下来，我们使用 rows.Next() 和 rows.Scan() 函数迭代处理查询结果，并将结果存储在一个变量中。最后，我们输出相加的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值