MySQL高并发下读取脏数据问题的解决方案

最新推荐文章于 2024-06-12 23:17:27 发布
最新推荐文章于 2024-06-12 23:17:27 发布
阅读量1.2w 收藏 7
点赞数 1
分类专栏： MySql PHP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeshencat/article/details/74356985
版权
PHP 同时被 2 个专栏收录
12 篇文章 0 订阅
订阅专栏
MySql
3 篇文章 0 订阅
订阅专栏

MySQL 在遇到高并发读写的情况下会读到脏数据，如何理解？举一个简单的栗子：
用户A、用户B、用户C 抢购一件商品，每人限购一件，商品库存为10，假如 A、B、C 并发情况下则同时得到 库存为 10，同时对库存10进行操作，看下相关示意图：

这里写图片描述
用户A 操作: 库存 10 -1 =9，对应的 SQL: update table set goods_number=goods_number-1;
用户B 操作: 库存 10 -1 =9，对应的 SQL: update table set goods_number=goods_number-1;
用户C 操作: 库存 10 -1 =9，对应的 SQL: update table set goods_number=goods_number-1;
最后得到的结果库存还剩下9，可想而知这个结果是错误的，这里我们只讨论MySQL 去解决这个问题，其他的什么文件锁、悲/乐观锁、redis 单线程解决方案、各种单线程队列等，不是讨论的范畴，请自行科普。

下面我贴一份儿日志看看类似的情况：
表结构：
goods_x 表:
CREATE TABLEgoods_x(
goods_idint(10) unsigned NOT NULL AUTO_INCREMENT,
goods_namevarchar(120) NOT NULL DEFAULT '',
goods_numberint(11) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (goods_id),
KEYgoods_number(goods_number)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

order 表：

 CREATE TABLE `order` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `order_sn` varchar(64) NOT NULL COMMENT '订单号',
  `goods_id` int(10) unsigned NOT NULL COMMENT '商品ID',
  `user_id` int(10) unsigned NOT NULL COMMENT '用户ID',
  `buy_number` smallint(5) unsigned NOT NULL DEFAULT '0' COMMENT '购买商品数量',
  `created_at` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '下单时间',
  `updated_at` int(10) unsigned NOT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`,`order_sn`),
  KEY `id` (`id`),
  KEY `goods_id` (`goods_id`),
  KEY `user_id` (`user_id`),
  KEY `order_sn` (`order_sn`)
) ENGINE=MyISAM AUTO_INCREMENT=11094 DEFAULT CHARSET=utf8

代码清单：

<?php
/**
 * 订单超发 ab模拟
 * @filename index1.php
 * @touch date
 * @author kevin<askyiwang@gmail.com>
 * @license http://www.zend.com/license/3_0.txt   PHP License 3.0
 * @version 1.0.0
 *
 */
header('Content-Type:text/html; charset=UTF-8');
$requet_log_file = './request.log';
$sell_log_file = './sell.log';
$request_time = 0;
if(file_exists($requet_log_file)) {
    $request_time = file_get_contents($requet_log_file);
}
$request_time += 1;
file_put_contents($requet_log_file, $request_time);

/**
 * 数据库连接
 *
 **/
$host = '127.0.0.1';
$port = '3306';
$dbname = 'test';
$user = 'root';
$db_password = '8ea352a33a';
$charset = 'UTF8';
try {
    $db = new \PDO('mysql:host='.$host.';port='.$port.';dbname='.$dbname.'', $user, $db_password, [\PDO::MYSQL_ATTR_INIT_COMMAND => 'SET NAMES '.$charset.'']);
} catch (\PDOException $e) {
    die("Connect Error Infomation:" . $e->getMessage());
}

/**
 * 生成订单号,假定是优化的
 *
 **/
function orderSn(\PDO $db) {
    $has_been = true;
    $order_sn = date('Ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
    while($has_been) {
        $sql = 'SELECT order_sn FROM `order` where order_sn=:order_sn';
        $sth = $db->prepare($sql, [PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY]);
        $sth->execute([':order_sn' => $order_sn]);
        $data = $sth->fetch();
        if(empty($data)) {
            $has_been = false;
        } else {
            $order_sn = date('Ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
        }
    }
    return $order_sn;
}

// 假定前端提交的数据
$uid = rand(1,10000);
$goods_id = 1;//rand(1,1000);
$buy_number = 1;


// 查询商品信息
$sql = 'SELECT goods_id, goods_number FROM `goods_x` where goods_id=1';
$res = $db->query($sql)->fetch();
if(!empty($res) && (($res['goods_number'] - $buy_number) > 0)) {

    //减少库存
    $down_sql = 'UPDATE `goods_x` SET goods_number=:goods_number where goods_id=:goods_id';
    $sth_goods = $db->prepare($down_sql);
    $sth_goods->bindValue(":goods_number", ($res['goods_number']-$buy_number));
    $sth_goods->bindParam(":goods_id", $goods_id);
    $r = $sth_goods->execute();
    if($r) {
        $str = '当前请求:'.$request_time.'减去库存成功,当前库存容量:'.($res['goods_number']-$buy_number).PHP_EOL;
        file_put_contents($sell_log_file, $str, FILE_APPEND);
    } else {
        $str = '当前请求:'.$request_time.'减去库存失败,当前库存容量:'.$res['goods_number'].PHP_EOL;
        file_put_contents($sell_log_file, $str, FILE_APPEND);
    }

    //插入订单表
    $order_sn = orderSn($db);
    $sql_query = "INSERT INTO `order`(order_sn,goods_id,user_id,buy_number,created_at,updated_at) VALUES(:order_sn,:goods_id,:user_id,:buy_number,:created_at,:updated_at);";
    $sth = $db->prepare($sql_query);
    $sth->bindParam(":order_sn", $order_sn);
    $sth->bindParam(":goods_id", $goods_id);
    $sth->bindParam(":user_id", $uid);
    $sth->bindParam(":buy_number", $buy_number);
    $sth->bindValue(":created_at", time());
    $sth->bindValue(":updated_at", time());
    $status = $sth->execute();
    $last_id = $db->lastInsertId();
    if($status) {
        echo '插入订单表成功，ID:'.$last_id.PHP_EOL;
    } else{
        echo '插入订单表失'.PHP_EOL;
        exit();
    }
}

AB 压测模拟结果：
这里写图片描述

如何优化解决这个问题呢？我们将引入乐观锁的事情，CAS(Compare And Set)来降低读写锁冲突。常见的版本通过版本比较来实现乐观锁，当然也很简单新增version 字段来保证自己本次操作是独立的，操作完并更新version得到new_version，当并发时候别人拿到之前version则操作失败，简单看看示意图：
这里写图片描述

如图所示：当发生并发时候，Client-1、Client-2、Client-3，获取到的 goods_number 都为10，version 都为 0，当Client -1~3任意一个用户操作，则version 将会增加1，这样一来其他人就会更新失败 。

代码清单：

<?php
/** 
 * 订单超发模拟 ab
 * @filename index.php
 * @touch date
 * @author kevin<askyiwang@gmail.com>
 * @license http://www.zend.com/license/3_0.txt   PHP License 3.0
 * @version 1.0.0
 * 准备几张表：
 * goods_x  商品表
 * order    订单表
 *
 */
header('Content-Type:text/html; charset=UTF-8');
$requet_log_file = './request.log';
$sell_log_file = './sell.log';
$request_time = 0;
if(file_exists($requet_log_file)) {
    $request_time = file_get_contents($requet_log_file);
}
$request_time += 1;
file_put_contents($requet_log_file, $request_time);

/**
 * 数据库连接
 *
 **/
$host = '127.0.0.1';
$port = '3306';
$dbname = 'test';
$user = 'root';
$db_password = '8ea352a33a';
$charset = 'UTF8';
try {
    $db = new \PDO('mysql:host='.$host.';port='.$port.';dbname='.$dbname.'', $user, $db_password, [\PDO::MYSQL_ATTR_INIT_COMMAND => 'SET NAMES '.$charset.'']);
} catch (\PDOException $e) {
    die("Connect Error Infomation:" . $e->getMessage());
}

/**
 * 生成订单号,假定是优化的
 *
 **/
function orderSn(\PDO $db) {
    $has_been = true;
    $order_sn = date('Ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
    while($has_been) {
        $sql = 'SELECT order_sn FROM `order` where order_sn=:order_sn';
        $sth = $db->prepare($sql, [PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY]);
        $sth->execute([':order_sn' => $order_sn]);
        $data = $sth->fetch();
        if(empty($data)) {
            $has_been = false;
        } else {
            $order_sn = date('Ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
        }
    }
    return $order_sn;
}

// 假定前端提交的数据
$uid = rand(1,10000);
$goods_id = 1;//rand(1,1000);
$buy_number = 1;


// 查询商品信息
$sql = 'SELECT goods_id, goods_number,version FROM `goods_x` where goods_id=1';
$res = $db->query($sql)->fetch();
try{
    if(!empty($res) && (($res['goods_number'] - $buy_number) > 0)) {
        $db->beginTransaction();
        //减少库存
        $down_sql = 'UPDATE `goods_x` SET goods_number=:goods_number,version=:new_version where goods_id=:goods_id and version=:version';
        $sth_goods = $db->prepare($down_sql);
        $sth_goods->bindValue(":goods_number", ($res['goods_number']-$buy_number));
        $sth_goods->bindValue(":new_version", ($res['version']+1));
        $sth_goods->bindParam(":goods_id", $goods_id);
        $sth_goods->bindParam(":version", $res['version']);
        $r = $sth_goods->execute();
        if($r) {
            $str = '操作版本:'.$res['version'].'减去库存成功,当前库存容量:'.($res['goods_number']-$buy_number).PHP_EOL;
            file_put_contents($sell_log_file, $str, FILE_APPEND);
        } else {
            $str = '操作版本:'.$res['version'].'减去库存失败,当前库存容量:'.$res['goods_number'].PHP_EOL;
            file_put_contents($sell_log_file, $str, FILE_APPEND);
            throw new \PDOException($str);//那个错误抛出异常
        }

        //插入订单表
        $order_sn = orderSn($db);
        $sql_query = "INSERT INTO `order`(order_sn,goods_id,user_id,buy_number,created_at,updated_at) VALUES(:order_sn,:goods_id,:user_id,:buy_number,:created_at,:updated_at);";
        $sth = $db->prepare($sql_query);
        $sth->bindParam(":order_sn", $order_sn);
        $sth->bindParam(":goods_id", $goods_id);
        $sth->bindParam(":user_id", $uid);
        $sth->bindParam(":buy_number", $buy_number);
        $sth->bindValue(":created_at", time());
        $sth->bindValue(":updated_at", time());
        $status = $sth->execute();
        $last_id = $db->lastInsertId();
        if($status) {
            echo '插入订单表成功，ID:'.$last_id.PHP_EOL;
        } else{
            echo '插入订单表失'.PHP_EOL;
            throw new \PDOException('插入订单表失');//那个错误抛出异常
        }
        $db->commit();
    }
} catch (PDOException $e){
        echo $e->getMessage();
        $pdo->rollback();
}

详细日志（库存1000）
这里写图片描述

总结：
读取到脏数据的解决办法，尽量串行化操作。

深夜的猫
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql withur报错_DB2使用Hibernate拦截器实现脏读（withur）
weixin_36149065的博客
01-19 1318
工作需要，最近要让开发的系统底层适应的数据库增加对DB2的支持，虽然使用了DB2，但是就性能考虑，和业务需要。查询不需要进行事务控制，也就是DB2的多种事务安全级别，在查询时，不需要关注更新和插入。因此需要查询支持脏读。每条查询的sql语句后面都要增工作需要，最近要让开发的系统底层适应的数据库增加对DB2的支持，虽然使用了DB2，但是就性能考虑，和业务需要。查询不需要进行事务控制，也就是DB2的多...
如何去除数据库中的脏数据
qq_37772593的博客
06-16 2492
脏数据是指在数据库中存在的不符合规范或者不符合业务逻辑的数据。例如，一个身高为-1的人，或者一个订单金额为负数的订单，都属于脏数据。脏数据会严重影响数据的质量和准确性，因此需要对其进行清洗和处理。脏数据会严重影响数据的质量和准确性，因此对于脏数据的清洗和处理是非常重要的。在实际操作中，我们需要采用多种技巧，如数据去重、数据格式化、数据筛选和数据验证等，来保证数据的质量和准确性。同时，我们也需要注意数据的来源和录入过程，避免因为人为错误而导致脏数据的产生。
17@MySQL数据库读现象详解（脏读、幻读、不可重复读）
ଲ一笑奈@何
07-15 2155
文章目录MySQL数据库读现象一、数据库的读现象1、脏读（dirty read）：读取未提交数据【案列详解】2、不可重复读取 (nonrepeatable read)：前后多次读取，数据内容不一致【案列详解】3、幻读(nonrepeatable read)：前后多次读取，数据总量不一致【案列详解】二、解决方案【MySQL解决幻读】【多版本控制（MVCC）的原理】【Next-Key锁（当前读）的原理】 MySQL数据库读现象 一、数据库的读现象 数据库管理软件的“读现象”指的是当多个事务并发执行时，在读取数
脏读：数据一致性问题及解决方案
最新发布
weixin_74268571的博客
06-12 867
对于对象的同步和异步的方法，很经典的错误就是脏读（dirtyread），脏读：数据一致性问题及解决方案
MySQL最终弹-并发（脏读，不可重复读，幻读及区别），JDBC的使用和安装,最全万字
weixin_72953218的博客
08-04 819
并发（脏读，不可重复读，幻读及区别），JDBC的使用和安装,最全万字，增删查改操作
【数据库并发操作带来的问题 - - - 丢失修改、不可重复读、读脏数据】
阿年的博客
04-27 2401
数据库并发操作带来的问题：丢失修改、不可重复读、读脏数据
MySQL 数据库如何解决高并发问题
09-08
MySQL 数据库在面对高并发场景时，需要采取一系列优化措施以确保系统稳定性和性能。以下是一些关键的优化策略： 1. **短距离**：优化数据传输路径，减少数据库访问延迟。 - **页面静态化**：对于不常变化的页面，...
PHP利用Mysql锁解决高并发的方法
10-18
在高并发的Web应用中，数据一致性与并发...总的来说，PHP结合MySQL的锁机制，尤其是行级锁，能够有效地解决高并发场景下的数据一致性问题。通过合理的设计和优化，可以在保证数据安全的同时，提高系统的并发处理能力。
高并发系统数据幂等的解决方案
09-10
以下是一些实现高并发系统数据幂等性的解决方案： 1. **查询操作**： 查询操作天然具有幂等性，因为它们不会改变数据，只是读取信息。因此，反复执行同一查询不会导致任何副作用。 2. **MVCC（多版本并发控制）与...
Mysql事务并发问题解决方案
12-14
尽管悲观锁可以确保数据一致性，但其带来的问题是高并发环境下可能导致大量事务阻塞，降低系统性能。 为了解决阻塞问题，乐观锁是一种可选策略。乐观锁假设并发事务不会冲突，只有在更新数据时才检查是否发生冲突。...
mysql中模拟实现脏读，不可重复读和幻读及其解决方案
yxg520s的博客
01-11 2114
1 脏读 1.1 说明 在两个事务中，一个事务读到了另一个事务未提交的数据（即事务A读取到事务B修改数据，当事务B未提交数据到数据库或出错时，事务A再进行读取发现数据已修改。 1.2 mysql命令行模拟脏读 1.2.1 在 “读未提交” 的隔离级别下测试 创建数据库test以及表rooms SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for roo
mysql 终端模拟_mysql客户端模拟脏读、幻读和可重复读
weixin_35999669的博客
02-02 124
如果操作一下时报出错误：在数据库中执行 SET GLOBAL BINLOG_FORMAT = mixed;执行后可通过SELECT * FROM information_schema.GLOBAL_VARIABLES WHERE VARIABLE_NAME = ‘BINLOG_FORMAT’ ;进行查看。通过客户端选择可用数据库：use db_test(模拟数据库)以下由客户端进行模拟：1.脏读(...
MySQL MVCC多版本并发控制（脏读和不可重复读解决原理）
长期更新Java自学笔记
03-23 3335
一、MVCC概念 二、MVCC应用于已提交读隔离级别 1. 解决脏读 2. 无法解决不可重复读 3. 无法解决幻读 三、MVCC应用于可重复读隔离级别 1. 解决脏读 2. 解决不可重复读 3. 理解 可重复读隔离级别，只生成一次数据快照 4. 理解 可重复读隔离级别，不能解决幻读
丢失的修改、不可重复读、读脏数据、幻影读
u010398493的专栏
07-27 1258
常见并发一致性问题包括：丢失的修改、不可重复读、读脏数据、幻影读（幻影读在一些资料中往往与不可重复读归为一类）。丢失修改下面先来看一个例子，说明并发操作带来的数据的不一致性问题。考虑飞机订票系统中的一个活动序列:甲售票点（甲事务）读出某航班的机票余额A,设A=16.乙售票点（乙事务）读出同一航班的机票余额A,也为16.甲售票点卖出一张机票,修改余额A←A-1.所以A为15,把A写回数据库.乙售票点
Java并发编程5 —— 并发脏读问题
扎瓦菜鸟
09-16 1241
两个线程同时修改共享数据容易产生线程安全问题。如果是在数据库中，一条数据由很多个字段组成，假设一个线程要去修改其中几个字段的值，与此同时有另一个线程想要读取这条数据，那么会产生什么问题呢。 下面的代码中，Student类有学号id、姓名name、专业名dprt三个属性。某同学申请转专业，需要修改他的学号和专业名。修改学号和专业名需要1秒钟完成，同时有另一个线程在查他的信息，查询速度很快。 i...
mysql数据库脏字段清洗_数据库的脏数据问题
weixin_31485197的博客
01-27 1534
脏读dirty reads：当事务读取还未被提交的数据时，就会发生这种事件。举例来说：Transaction 1 修改了一行数据，然后 Transaction 2 在 Transaction 1 还未提交修改操作之前读取了被修改的行。如果 Transaction 1 回滚了修改操作，那么 Transaction 2 读取的数据就可以看作是...
脏数据的处理例子
热门推荐
u012762054的博客
08-14 1万+
故事起因：多人同时操作一个工作单据，保存时间有先后，后保存的数据覆盖了前面保存的数据。网上找到文章都是讲并发处理的原理，没人提到数据丢失后的处理。 这是个真实的案例，对于数据量很少的单据可以随时丢弃脏数据，但是如果是软件管理系统里含有大量数据的表单，直接丢弃就不好了。见下图 货代海运信息录入资料图 举例说明，我们在给一个供应链客户做的一张工作单，里面涉及的服务同时有两种（海运和陆运）...
Mysql--013--多事务并发执行引起的问题--脏写、脏读、不可重复读、幻读
天地人的博客
10-06 369
前言 每个事务在提交之前，都会把数据原始状态记录在undo log文件里面，来做到事务的回滚。多个事务并发执行的时候，根据自己的undo log回滚数据，会引起几个问题。 脏写 两个事务同时更新一条记录，一个事务回滚，覆盖了另一个事务更新的值 举例： 事务A和事务B同时更新一条记录中的job字段，job原始值是null 事务A：把job更新完Java工程师 事务B：把job更新为vue工程师 事务A：妈呀，出问题了，赶紧回滚。于是事务A从他的undo log中将job回滚到null的状态 事务B：天啦撸，我

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值