MongoDB与MySQL效率对比

申骏伟

于 2024-05-16 11:13:51 发布

阅读量446

点赞数 3

分类专栏：程序员文章标签： mongodb mysql 数据库

本文链接：https://blog.csdn.net/hhlel/article/details/138953304

版权

程序员专栏收录该内容

111 篇文章 0 订阅

订阅专栏

(2)、逐条删除

来看看在非批量下的删除

public void deleteOneByOne(List documents){

for (Document document : documents) {

Document queryDocument = new Document(“_id”,document.get(“_id”));

DeleteResult deleteResult = collection.deleteOne(queryDocument);

}

测试：10万条数据

System.out.println(“开始删除数据。。。”);

long startDelete = System.currentTimeMillis();

instance.deleteOneByOne(documents);

System.out.println(“删除数据完成，共耗时：”+(System.currentTimeMillis() - startDelete)+“毫秒”);

结果：12765毫秒，比批量删除效率低很多

3、更新操作

(1)、批量更新

再来看看批量更新，分UpdateOneModel和UpdateManyModel两种，区别是前者更新匹配条件的一条记录，后者更新匹配条件的所有记录。对于ReplaceOneModel，表示替换操作，这里也归为更新，现在以UpdateOneModel为例进行讲解。UpdateOneModel构造方法接收3个参数，第一个是查询条件，第二个参数是要更新的内容，第三个参数是可选的UpdateOptions，不填也会自动帮你new一个，代表批量更新操作未匹配到查询条件时的动作，它的upser属性值默认false，什么都不干，true时表示将一个新的Document插入数据库，这个新的Document是查询Document和更新Document的结合，但如果是替换操作，这个新的Document就是这个替换Document。

这里会有个疑惑：这和匹配到查询条件后执行替换操作结果不一样吗?区别在于_id字段，未匹配查询条件时插入的新的Document的_id是新的，而成功执行替换操作，_id是原先旧的。

public void bulkWriteUpdate(List documents){

List<WriteModel> requests = new ArrayList<WriteModel>();

for (Document document : documents) {

//更新条件

Document queryDocument = new Document(“_id”,document.get(“_id”));

//更新内容，改下书的价格

Document updateDocument = new Document(“$set”,new Document(“price”,“30.6”));

//构造更新单个文档的操作模型

UpdateOneModel uom = new UpdateOneModel(queryDocument,updateDocument,new UpdateOptions().upsert(false));

//UpdateOptions代表批量更新操作未匹配到查询条件时的动作，默认false，什么都不干，true时表示将一个新的Document插入数据库，他是查询部分和更新部分的结合

requests.add(uom);

}

BulkWriteResult bulkWriteResult = collection.bulkWrite(requests);

System.out.println(bulkWriteResult.toString());

}

测试：10万条数据

System.out.println(“开始更新数据。。。”);

long startUpdate = System.currentTimeMillis();

instance.bulkWriteUpdate(documents);

System.out.println(“更新数据完成，共耗时：”+(System.currentTimeMillis() - startUpdate)+“毫秒”);

结果：3198毫秒

(2)、逐条更新

对比非批量下的更新

public void updateOneByOne(List documents){

for (Document document : documents) {

Document queryDocument = new Document(“_id”,document.get(“_id”));

Document updateDocument = new Document(“$set”,new Document(“price”,“30.6”));

UpdateResult UpdateResult = collection.updateOne(queryDocument, updateDocument);

}

测试：10万条数据

System.out.println(“开始更新数据。。。”);

long startUpdate = System.currentTimeMillis();

instance.updateOneByOne(documents);

System.out.println(“更新数据完成，共耗时：”+(System.currentTimeMillis() - startUpdate)+“毫秒”);

结果：13979毫秒，比批量更新效率低很多

4、混合批量操作

bulkWrite()方法可以对不同类型的写操作进行批量处理，代码如下：

public void bulkWriteMix(){

List<WriteModel> requests = new ArrayList<WriteModel>();

InsertOneModel iom = new InsertOneModel(new Document(“name”,“kobe”));

UpdateManyModel umm = new UpdateManyModel(new Document(“name”,“kobe”),

new Document(“$set”,new Document(“name”,“James”)),new UpdateOptions().upsert(true));

DeleteManyModel dmm = new DeleteManyModel(new Document(“name”,“James”));

requests.add(iom);

requests.add(umm);

requests.add(dmm);

BulkWriteResult bulkWriteResult = collection.bulkWrite(requests);

System.out.println(bulkWriteResult.toString());

}

注意：updateMany()、deleteMany()两个方法和insertMany()不同，它俩不是批量操作，而是代表更新(删除)匹配条件的所有数据。

二、与MySQL性能对比

1、插入操作

(1)、批处理插入

与MongoDB一样，也是插入Product实体对象，代码如下

public void insertBatch(ArrayList list) throws Exception{

Connection conn = DBUtil.getConnection();

try {

PreparedStatement pst = conn.prepareStatement(“insert into t_product value(?,?,?,?)”);

int count = 1;

for (Product product : list) {

pst.setInt(1, product.getProductId());

pst.setString(2, product.getCategory());

pst.setString(3, product.getName());

pst.setDouble(4, product.getPrice());

pst.addBatch();

if(count % 1000 == 0){

pst.executeBatch();

pst.clearBatch();//每1000条sql批处理一次，然后置空PreparedStatement中的参数，这样也能提高效率，防止参数积累过多事务超时，但实际测试效果不明显

}

count++;

}

conn.commit();

} catch (SQLException e) {

e.printStackTrace();

}

DBUtil.closeConnection(conn);

}

JDBC默认自动提交事务，切记在获取连接后添加下面一行代码，关闭事务自动提交。

connection.setAutoCommit(false);

测试：10万条数据

public static void main(String[] args) throws Exception {

TestMysql test = new TestMysql();

ArrayList list = new ArrayList();

for (int i = 0; i < 1000; i++) {

Product product = new Product(i, “书籍”, “追风筝的人”, 20.5);

list.add(product);

}

System.out.println(“MYSQL开始插入数据。。。”);

long insertStart = System.currentTimeMillis();

test.insertBatch(list);

System.out.println(“MYSQL插入数据完成，共耗时：”+(System.currentTimeMillis() - insertStart)+“毫秒”);

}

结果：7389毫秒，多次测试基本7秒左右

(2)、逐条插入

再来看看mysql逐条插入,代码如下：

public void insertOneByOne(ArrayList list) throws Exception{

Connection conn = DBUtil.getConnection();

try {

for (Product product : list) {

PreparedStatement pst = conn.prepareStatement(“insert into t_product value(?,?,?,?)”);

pst.setInt(1, product.getProductId());

pst.setString(2, product.getCategory());

pst.setString(3, product.getName());

pst.setDouble(4, product.getPrice());

pst.executeUpdate();

//conn.commit();//加上这句每次插入都提交事务，结果将是非常耗时

}

conn.commit();

} catch (SQLException e) {

e.printStackTrace();

}

DBUtil.closeConnection(conn);

}

测试：10万条记录

System.out.println(“MYSQL开始插入数据。。。”);

long insertStart = System.currentTimeMillis();

test.insertOneByOne(list);

System.out.println(“MYSQL插入数据完成，共耗时：”+(System.currentTimeMillis() - insertStart)+“毫秒”);

结果：8921毫秒，基本比批量慢1秒多。

2、删除操作

(1)、批处理删除

删除的where条件是productId，这里在建表的时候没有添加主键，删除异常的慢，查了半天不知道什么原因。切记添加主键，主键默认有索引，所有能更快匹配到记录。

public void deleteBatch(ArrayList list) throws Exception{

Connection conn = DBUtil.getConnection();

try {

PreparedStatement pst = conn.prepareStatement(“delete from t_product where id = ?”);//按主键查，否则全表遍历很慢

int count = 1;

for (Product product : list) {

pst.setInt(1, product.getProductId());

pst.addBatch();

if(count % 1000 == 0){

pst.executeBatch();

pst.clearBatch();

}

count++;

}

conn.commit();

} catch (SQLException e) {

e.printStackTrace();

}

DBUtil.closeConnection(conn);

}

测试：10万条数据

System.out.println(“MYSQL开始删除数据。。。”);

long deleteStart = System.currentTimeMillis();

test.deleteBatch(list);

System.out.println(“MYSQL删除数据完成，共耗时：”+(System.currentTimeMillis() - deleteStart)+“毫秒”);

结果：7936毫秒

(2)、逐条删除

代码如下

public void deleteOneByOne(ArrayList list) throws Exception{

Connection conn = DBUtil.getConnection();

PreparedStatement pst = null;

try {

for (Product product : list) {

pst = conn.prepareStatement(“delete from t_product where id = ?”);

pst.setInt(1, product.getProductId());

pst.executeUpdate();

//conn.commit();//加上这句每次插入都提交事务，结果将是非常耗时

}

conn.commit();

} catch (SQLException e) {

e.printStackTrace();

}

DBUtil.closeConnection(conn);

}

测试：10万条数据

System.out.println(“MYSQL开始删除数据。。。”);

long deleteStart = System.currentTimeMillis();

test.deleteOneByOne(list);

System.out.println(“MYSQL删除数据完成，共耗时：”+(System.currentTimeMillis() - deleteStart)+“毫秒”);

结果：8752毫秒，比批处理删除慢一秒左右

3、更新操作

(1)、批处理更新

代码如下

public void updateBatch(ArrayList list) throws Exception{

Connection conn = DBUtil.getConnection();

try {

PreparedStatement pst = conn.prepareStatement(“update t_product set price=31.5 where id=?”);

int count = 1;

for (Product product : list) {

pst.setInt(1, product.getProductId());

pst.addBatch();

if(count % 1000 == 0){

pst.executeBatch();

pst.clearBatch();//每1000条sql批处理一次，然后置空PreparedStatement中的参数，这样也能提高效率，防止参数积累过多事务超时，但实际测试效果不明显

}

count++;

}

conn.commit();

} catch (SQLException e) {

e.printStackTrace();

}

DBUtil.closeConnection(conn);

}

测试：10万条数据

System.out.println(“MYSQL开始更新数据。。。”);

long updateStart = System.currentTimeMillis();

test.updateBatch(list);

System.out.println(“MYSQL更新数据完成，共耗时：”+(System.currentTimeMillis() - updateStart)+“毫秒”);

结果：8611毫秒

(2)、逐条更新

代码如下

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
pdateStart)+“毫秒”);

结果：8611毫秒

(2)、逐条更新

代码如下

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

[外链图片转存中…(img-mWf0HRQO-1715829215321)]

[外链图片转存中…(img-eobVsUSg-1715829215322)]

[外链图片转存中…(img-bU91rxDz-1715829215322)]

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

申骏伟

关注

3
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
MongoDB与MySQL效率对比

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
复制链接

扫一扫