java mysql 异步查询_JAVA如何实现1秒钟执行1000次数据库查询？

最新推荐文章于 2022-05-07 17:08:38 发布
最新推荐文章于 2022-05-07 17:08:38 发布
阅读量1.2k 收藏 1
点赞数
文章标签： java mysql 异步查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36034883/article/details/113569744
版权

这个场景给的信息还是太少了，我做一些不太离谱的假设分析一下，假设是这样的场景对延迟不太敏感，这个是从题主5分钟处理50w数据计算的问题假设的

时序查询返回的数据不大，这个是个经验假设，根据我见过的场景猜的

计算部分是简单的聚合计算，但是同时处理的数据很多，所以用时比较长

首先，这100个线程需要干掉。我目前还没见过CPU物理核在100左右的服务器，用GPU的大佬可以当我没说。

线程数量其实是一个很微妙的调优选项，很多架构的性能最优点会在线程数量比核数稍微大一点的位置上，也有反过来的。有一个简单的评测方法，看看服务的系统态CPU时间占比，100个线程如果放到16核上去跑，系统态时间就海了去了。

其次，我猜测，你的100个线程里面是串行逻辑“网络IO接受request->查数据->计算->网络IO返回结果”，这是浪费资源的做法，用线程池来拆分请求是比较合适的。

典型的拆分原则是按照处理时间和IO比例进行拆分。查询数据的部分可以单独拆开一个线程池，粗略估计可能只需要四五个线程就可以搞定。流程两端的网络IO可以用一个线程池搞定，同样是四五个线程左右。最后计算的部分可以用(核数 - 查询线程数 - 网络IO线程数)来确定线程池大小，毕竟太多线程对计算并没有什么好处。

做完以上异步化拆分，假设没有其他资源瓶颈的情况下，如果后端查询数据的吞吐足够，即便1000条请求不能在1s内处理完，1s中也能处理完1000条请求，这就是流水线，是不是很微妙XD

最后，算消耗。假设以上优化做完之后，一条请求需要时间t，需要内存m，那么至少需要1000t*m这么多的内存。估计你的场景可以水平切分，直接分到多台机器上来摊销内存就好了。至于网卡什么的，慢慢算哪块是短板吧

嗜我啊
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用异步方式查询数据库记录
12-14
使用异步方式查询数据库记录
Phone_mysql.rar_MYSQL数据库_java GUI 数据库_phone
09-14
用java和mysql数据库编的一个电话管理工具。数据库和驱动要自己准备。是学习java数据库编程和GUI编程的好例子。
java多线程查询数据库
12-04
java多线程并发查询数据库，使用线程池控制分页，并发查询。
MySQL.zip_java数据库查询_查询数据库
09-14
java对MySQL数据库的操作,实现数据库的查询等功能。
java实现连接mysql数据库单元测试查询数据的实例代码
09-01
下面小编就为大家带来一篇java实现连接mysql数据库单元测试查询数据的实例代码。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
java查询结果数据量过大
迁柏进阶之路
05-07 3517
java查询结果过大，采用mybatis流式查询解决
海量数据分页java,海量数据库的查询优化及分页算法方案
weixin_35408656的博客
03-12 147
在以下的文章中，我将以“办公自动化”系统为例，探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构：CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件表名[Gid] [int] IDENTITY (1, 1) NOT NULL ,--本表的id...
java向mysql写入数据慢_用Java向数据库中插入大量数据时的优化
weixin_33164837的博客
01-25 1407
注：本文来自http://geeklee.iteye.com/blog/1160949使用jdbc向数据库插入100000条记录，分别使用statement，PreparedStatement，及PreparedStatement+批处理3种方式进行测试：1、使用Statement插入100000条记录public void exec(Connection conn){try {//开始时间Lon...
MySQL 性能调优
weixin_38637161的博客
11-19 538
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描， Sql 代码 : select id from t where num is null; 可以在 num 上设置默认值 0,确保表中 num 列没有 null 值，然后这样查询： Sql 代码 : select id from t where num=0; 3.应尽量避免在 w
java10000条数据_在有10000条数据的表中做大量查询，多线程没有提高运行速度
weixin_32620855的博客
02-27 1085
本文试图证明多线程的效率，在有10000条数据的表中做大量查询，但结果证明多线程没有提高运行速度。package c1;import java.sql.*;import java.util.Calendar;import java.util.Properties;public class Test {/*** @param args*/public static void main(String[...
jabc.zip_jabc_java mysql查询_java数据库查询_数据库处理
09-19
JAVA代码实现MySQL数据库的连接,和数据库的查询以及结果处理
使用Mybatis框架操作数据库
01-19
使用Mybatis操作数据库，可使用Mybatis工具生成基本mapper，dao层等。 方便做一些数据库工具。
sqlselect.rar_java mysql_java mysql查询_查询数据库
09-21
java 查询数据库 mysql使用案例
基于java的-28-“智慧食堂”设计与实现--LW-源码.zip
04-25
提供的源码资源涵盖了Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
C#，回文分割问题（Palindrome Partitioning Problem）算法与源代码
04-25
C#，回文分割问题（Palindrome Partitioning Problem）算法与源代码 1 回文串 “回文串”是一个正读和反读都一样的字符串，初始化标志flag=true，比如“level”或者“noon”等等就是回文串。 2 回文分割问题 给定一个字符串，如果该字符串的每个子字符串都是回文的，那么该字符串的分区就是回文分区。 例如，“aba | b | bbabb | a | b | aba”是“abababababa”的回文分区。 确定给定字符串的回文分区所需的最少切割。 例如，“ababababababa”至少需要3次切割。 这三个分段是“a | babbab | b | ababa”。 如果字符串是回文，则至少需要0个分段。 如果一个长度为n的字符串包含所有不同的字符，则至少需要n-1个分段。
node-v9.2.1.tar.xz
最新发布
04-25
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
贪心算法解决活动选择问题，Java版源码
04-25
贪心算法是一种在每一步选择中都采取在当前状态下最好或最优的选择，从而希望导致结果是全局最好或最优的算法策略。贪心算法在有最优子结构的问题中尤为有效。最优子结构的意思是局部最优解可以决定全局最优解。 附件中一个使用贪心算法解决活动选择问题（也称为会议时间安排问题）的 Java 示例代码。这个问题的目标是选择最大的活动数量，使得活动之间互不重叠。 在示例中，我们定义了一个 Activity 类来表示每个活动的开始和结束时间。然后，我们创建了一个活动数组，并使用 Arrays.sort() 方法按照活动的结束时间对它们进行排序。 接下来，我们遍历排序后的数组，使用贪心算法的策略选择活动。选择的标准是当前活动的开始时间是否晚于或等于之前选择的最后一个活动的结束时间。如果是，我们就选择这个活动，并更新 lastActivityEnd 为当前活动的结束时间。最后，我们打印出可以执行的最大活动数量。
小程序-2-“最多跑一次”微信小程序--LW-源码.zip
04-25
提供的源码资源涵盖了小程序应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
基于java的-198-ssm智能新冠疫苗接种助手--LW-源码.zip
04-25
提供的源码资源涵盖了Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
java连接mysql实现数据库查询
06-07
要在Java中连接MySQL数据库并实现查询，可以按照以下步骤操作： 1. 导入MySQL驱动程序 在Java代码中导入MySQL驱动程序，例如： ``` Class.forName("com.mysql.jdbc.Driver"); ``` 2. 建立连接 使用Java中的`Connection`类建立与MySQL数据库的连接，例如： ``` String url = "jdbc:mysql://localhost:3306/mydatabase"; String user = "root"; String password = "mypassword"; Connection conn = DriverManager.getConnection(url, user, password); ``` 其中，`url`是MySQL数据库的连接地址，`user`和`password`是登录MySQL数据库的用户名和密码，`mydatabase`是要操作的数据库名称。 3. 创建Statement对象 使用`Connection`对象的`createStatement()`方法创建`Statement`对象，例如： ``` Statement stmt = conn.createStatement(); ``` 4. 执行SQL查询语句 使用`Statement`对象的`executeQuery()`方法执行SQL查询语句，例如： ``` String sql = "SELECT * FROM mytable WHERE id=1"; ResultSet rs = stmt.executeQuery(sql); ``` 其中，`mytable`是要查询的表名，`id=1`是要查询的记录条件。 5. 处理查询结果 使用`ResultSet`对象处理查询结果，例如： ``` while (rs.next()) { int id = rs.getInt("id"); String name = rs.getString("name"); int age = rs.getInt("age"); System.out.println("id: " + id + ", name: " + name + ", age: " + age); } ``` 其中，`getInt()`、`getString()`等方法用于获取查询结果中的字段值。 6. 关闭连接 使用`Connection`对象的`close()`方法关闭与MySQL数据库的连接，例如： ``` conn.close(); ``` 完整的Java代码示例： ``` import java.sql.*; public class MySQLExample { public static void main(String[] args) { try { Class.forName("com.mysql.jdbc.Driver"); String url = "jdbc:mysql://localhost:3306/mydatabase"; String user = "root"; String password = "mypassword"; Connection conn = DriverManager.getConnection(url, user, password); Statement stmt = conn.createStatement(); String sql = "SELECT * FROM mytable WHERE id=1"; ResultSet rs = stmt.executeQuery(sql); while (rs.next()) { int id = rs.getInt("id"); String name = rs.getString("name"); int age = rs.getInt("age"); System.out.println("id: " + id + ", name: " + name + ", age: " + age); } conn.close(); } catch (Exception e) { e.printStackTrace(); } } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值