解决Java从MySQL读取大量数据时卡…

最新推荐文章于 2024-07-02 23:45:54 发布
最新推荐文章于 2024-07-02 23:45:54 发布
阅读量1.3w 收藏 12
点赞数 1
分类专栏： 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/runyon1982/article/details/49018865
版权
本文记录了解决Java服务在启动时因从MySQL读取大量数据而卡住的问题。通过检查日志、CPU占用、JVM内存及线程状态，发现线程卡在TCP套接字读取上。最终通过增加jdbc url的tcpRcvBuf属性，将TCP接收缓冲区增大到1MB，成功解决了问题，避免了修改代码的复杂过程。
摘要由CSDN通过智能技术生成
    今天晚上突然有个服务无法启动。这个服务在启动的时候会从数据库中加载一些数据。查看日志：有开始加载的日志，但没有完成加载的日志，判断问题是在加载数据时卡住。用top查看进程，发现CPU占用为0%。又怀疑可能是因为jvm内存不够，用jstat查看jvm内存使用情况，发现各区内存占用率较低，连young gc都没有出现。再用jstack查看线程栈，发现线程卡在JDBC底层的TCP套接字读取上：
  ------------------------------------ ------------------------------------
main prio=10 tid=0x000000004cf54800 nid=0x1ec4 runnable [0x00002b990a821000]
    java.lang.Thread.State: RUNNABLE
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:113)
at com.m
最低0.47元/天 解锁文章
Runyon1982
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java从mysql中读取大量数据_java从数据库读取百万级数据保存到text文件中，速度慢，怎么解决...
weixin_42343756的博客
01-19 1482
代码如下，做一个数据脚本的备份与还原，从数据库查询所有记录，拼接成插入语句，数据库中有600多万条数据，在自的电脑上试，写到txt文件中足足花了半个小时的时间啊。。。。。不知道哪里有问题，麻烦各位指点一下/*** 如果记录大于10000行，则 分页抓取，每次抓取10000条,这里只适应于在mysql* @param rowCount* 总记录数* @param table* ...
Java读取MySQL数据时卡在SocketInputStream.socketRead0
Lance的专栏
01-08 5491
本文先描述了我的项目遇到的问题，以及解决的思路，引出了部分MySQL网络协议的分析（代码样例跟我的项目无关，仅供参考）。行文有点乱，见谅 背景 项目中使用mysql-connector-java读取MySQL数据，卡在SocketInputStream.socketRead0 "xx-6" #135 prio=5 os_prio=0 tid=0x00007fc4e047a800 ni...
java项目连接mysql卡死_我的Java连接数据库之后就卡住了 不能输出结果 到底是为什么呢？程序的功能是要完成一个地址的最大正向查...
weixin_39589394的博客
02-05 567
以下是基本的函数实现最重要的是第四个要实现街道的最大正向查找：ResultSetrs=s.executeQuery(sql);if(rs.next()){Stringpostaddress=rs.getString(1);Joutput.setText(postaddress)...以下是基本的函数实现 最重要的是第四个 要实现街道的最大正向查找：ResultSet rs=s.executeQu...
深入了解MySQL的流式查询机制
最新发布
weixin_42081106的博客
07-02 490
既然fetchsize这么好用，那MySQL直接设一个值，不就也可以用到缓冲区，不必每次都将全量结果集装入内存。但是，非常遗憾，MySQL的JDBC驱动本质上并不支持设置fetchsize，不管设置多大的fetchsize，JDBC驱动依然会将select的全部结果都读取到客户端后再处理, 这样的话当select返回的结果集非常大时将会撑爆Client端的内存。
java 线程中断 阻塞_java – 线程中断没有结束阻塞调用输入流...
weixin_39633437的博客
02-19 165
我正在使用RXTX从串口读取数据.读取是在以下列方式生成的线程内完成的：CommPortIdentifier portIdentifier = CommPortIdentifier.getPortIdentifier(port);CommPort comm = portIdentifier.open("Whatever", 2000);SerialPort serial = (SerialPort...
MySQL结果集Java_java – 使用MySQL传输大型结果集
weixin_39670511的博客
01-28 102
我正在开发一个使用大型MySQL表的spring应用程序。当加载大表时，我得到一个OutOfMemoryException，因为驱动程序尝试将整个表加载到应用程序内存中。我试过使用statement.setFetchSize(Integer.MIN_VALUE);但随后每个ResultSet我打开挂在close();看上去我发现，这是因为它尝试加载任何未读的行，然后关闭ResultSet，但是不是...
分析Mysql大量数据导入遇到的问题以及解决方案
09-09
针对标题中提到的“Mysql大量数据导入遇到的问题以及解决方案”，我们接下来将详细分析在实践导入大约4GB大小，包含6500万余条数据的txt文件时碰到的问题及其解决方法。 首先，需要了解在导入大量数据时常见的问题...
Java实现从数据库导出大量数据记录并保存到文件的方法
09-03
在Java编程中，从数据库导出大量数据记录并保存到文件是常见的需求，尤其是在数据分析、备份或报表生成等场景。以下是一种实现方法，涉及到的主要知识点包括数据库连接、SQL查询、结果集处理以及文件操作。 首先，...
ExcelReader：一个Java程序，通过创建表从mysql中读取数据并将记录存储在mysql中
02-19
6. **多线程**：如果ExcelReader需要处理大量数据，它可能会利用多线程来并发读取和写入，以提高处理速度。 7. **异常处理**：为了确保程序的健壮性，Java的异常处理机制（try-catch-finally块）会被用来捕获和处理...
Java读取XML文件内容存储到MySQL
06-30
在Java开发中，将XML文件的内容读取并存储到MySQL数据库是常见的操作，尤其是在数据迁移、数据处理或系统集成的场景。本篇将详细介绍如何利用Java...在处理大量数据时，还可以利用SpringBatch进行批量导入，提高效率。
C++实现从TXT或Excel读取数据写入数据库小工具
06-16
在这个项目中，我们有一个名为"C++实现从TXT或Excel读取数据写入数据库小工具"的实用程序，它利用C++编程语言来实现数据的读取和存储功能。这个工具能够帮助开发者高效地处理来自文本文件（如TXT）和电子表格文件...
一个SpringBoot问题就干趴下了？我却凭着这份PDF文档吊打面试官
架构大数据双料架构师的博客
09-26 436
随着 Spring Boot 使用越来越广泛，Spring Boot 已经成为 Java 程序员面试的知识点，很多同学对 Spring Boot 理解不是那么深刻，经常就会被几个连环追问就给干趴下了！ 今天小编就给大家整理了 Spring Boot 的35个常见知识点、21道面试必刷题、10个高频面试题和学习PDF文档与学习思维脑图，希望可以帮助大家深入学习Spring Boot~ 注意： 需要这些Spring Boot 资料的朋友点击这里【资料】两个字就可以免费领取哦~ 01 35个常.
【JDBC】JDBC和连接池的关系
pangpd的博客
09-07 2214
1. 前言 一直以为连接池是对JDBC的封装，今天再次回顾Java基础的时，才发现并非完全如此。连接池只是包装/操作了JDBC API 接口,然后再实际运行的时候,这些接口的具体实现则 下面是知乎上的一个图：JDBC和连接池的关系 2. JDBC和连接池的关系 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。简单说可以通过JDBC来访问数据库， 而连
Mysql事务超时
I want to know a little more.
07-16 7573
本文概览：介绍了超时有关的概念：@Transaction的timeout、mybatis的timeout、mysql的innodb_lock_wait_timeout。 1 问题 1.1 背景 在一个事务中完成解析一个大文件，分批存入到数据库。遇到问题，执行时间比较长，就讨论了事务超时的问题，担心执行时间太长，事务超时自动回滚了。 为了考虑这个问题，需要考虑如下超时相关的设置： 一个事务的超时时间。spring的@Transactional 一个stametn的执行时间。包括mybais的tim
mysql jdbc 超时_深入分析JDBC超时机制
weixin_34487308的博客
01-18 800
前言上周在线上出现出现报警，ID号码一直无法获取，但是只有这一台机器报警，所以第一时间先在服务治理平台上禁用掉这台机器保证服务正常。停掉机器后要排查问题，思考分析步骤如下:通过监控发现只有一个key的ID调用发生下降(第一张)，这台机器上的其他key没有任何问题，从数据库更新号段正常。是不是数据库死锁了？这个key在其他机器更新key是正常的，排除数据库的问题，那么就是这台机器的问题查看log，发...
第五篇
monk_sky的博客
04-01 131
百萬並發之 tcp_mem 在服務端，連接達到一定數量，諸如50W時，有些隱藏很深的問題，就不斷的拋出來。 通過查看dmesg命令查看，發現大量TCP: too many of orphaned sockets錯誤，也很正常，下面到了需要調整tcp socket參數的時候了。 第一個需要調整的是tcp_rmem，即TCP讀取緩沖區，單位為字節，查看默認值 cat /proc/sys/net/ipv4/tcp_rmem 4096 87380 4161536 默認值為87380 byte ≈ 86K，最小為40
mysql连接不上导致jdbc blocked的问题
SAN_YUN的专栏
08-21 1149
今天线上使用开发环境配置导致mysql 链接不上的错误： "dboss-worker-thread-6" prio=10 tid=0x00002aaac0310000 nid=0x28e3 waiting for monitor entry [0x000000004440a000] java.lang.Thread.State: BLOCKED (on object monitor)...
mysql readfully_我的数据库连接不了，报错如下。
weixin_36307834的博客
02-01 331
com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception:** BEGIN NESTED EXCEPTION **com.mysql.jdbc.CommunicationsExceptionMESSAGE: Communications link failure d...
解决Java从MySQL读取大量数据时卡在SocketInputStream.socketRead0的问题
热门推荐
ytp151730的专栏
05-19 1万+
今天晚上突然有个服务无法启动。这个服务在启动的时候会从数据库中加载一些数据。查看日志：有开始加载的日志，但没有完成加载的日志，判断问题是在加载数据时卡住。用top查看进程，发现CPU占用为0%。又怀疑可能是因为jvm内存不够，用jstat查看jvm内存使用情况，发现各区内存占用率较低，连young gc都没有出现。再用jstack查看线程栈，发现线程卡在JDBC底层的TCP套接字读取上：  --
Java中Mysql Blob大容量数据的插入与读取操作详解
总结起来，Blob在MySQL中主要用于存储大量二进制数据，插入时需通过输入流提供数据，读取时则从ResultSet中获取Blob对象并转换为InputStream进行操作。在实际开发中，需要注意正确管理数据库连接和资源，以确保代码...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值