BufferedWriter分页导出ORACLE表数据到文件丢失部分记录问题

最新推荐文章于 2023-11-23 20:35:42 发布
最新推荐文章于 2023-11-23 20:35:42 发布
阅读量119 收藏
点赞数
文章标签： 数据库
原文链接：http://www.cnblogs.com/jony1/p/6206318.html
版权

有一个需求碰到的问题，需要提供一个接口给外部的渠道商调用以获取相关数据，由于表记录有几十万条，放弃了HTTP接口。转而采用生成文件到FTP服务器，让渠道商去主动获取。

由于有几十万条记录，而且不确定记录数会不会继续增长，采用分页写入文件

 

 

 

 由于加入以上红圈的代码，去掉了最后一行的换行符，每次追加文件的时候总会从最后一行开始追加，写入n次总会丢失n-1条记录

 

转载于:https://www.cnblogs.com/jony1/p/6206318.html

weixin_30667649
关注
java从oracle中读取大量数据写出到文件
小小探索者
09-15 3564
java从oracle中读取大量数据写出到文件 背景：项目中需要从oracle中读取表字段并以指定间隔符拼接字段，输出到txt。每张表的数据量大概在2000W左右，因为是只需要读一张表指定字段的全部数据，也不需要考虑查询优化，只针对表读取规模进行优化即可。 版本oracle 11G 思路一： 使用oracle语句对数据表进行分页读取，这里应注意到的是rowid效率和rownum效率问题,还有使不使用order by SELECT t.* FROM a t, (SELECT ROWNUM rn, c.*
java jdbc导出数据库大量数据
犹达斯的博客
11-04 6762
背景 java 导出数据库数据，在数据量比较大的情况下，如果全部将数据读到内存中再执行写文件，很容易遇到内存溢出；为了避免内存溢出的问题，可以尝试两种方式： 分页查询，每页写一次文件 使用游标的方式，边读边写 分页的方式，当数据量较大的情况下，需要花费一些建立数据库连接的消耗，也不是很推荐，所以可以尝试使用游标的方式； 数据准备 BEGIN FOR i IN 1..2000000 LOOP...
java 错误使用BufferedWriter 写txt文件出现文件内容缺失，不同于readline()的阻塞、缓冲区大小设置
Can96的博客
05-19 2351
先写原因：注意bWriter.flush(),bWriter.close(),bReader.readline()三条语句的顺序。先flush，close，再readline()没问题. 今天写一个用BufferedWriter写txt文件，BufferedReader读txt文件的程序时,运行后，发现txt文件里的内容跟原始的相比，缺失了一大部分，经过一番测试，debug后，还是没能解决问题，简...
Java BufferWriter写文件写不进去或缺失数据
m0_37683327的博客
04-03 4871
Java BufferWriter写文件之后文件是空的或者数据不全 在编程的过程中，读写文件是非常常见的操作，在这里我问介绍一下最近我遇到的集中写文件写不进去的情况。首先给出完整的代码。 import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; public class Main { public static void main(String[] args) throws IOExcept
java 多线程写入文件数据丢失的问题（IO流）
最新发布
weixin_41778440的博客
11-23 780
在开发过程中，我们有时需要处理大量不同文件，且是在多线程的情况下异步处理的，但是由于Java的内存限制，当处理大量文件时容易导致内存溢出的问题，这种情况下就会导致文件数据的丢失，因此，IO流中，对于flush()的合理使用显得至关重要。
Java 使用BufferedOutputStream没有flush()导致文本文件内容缺失
m0_62122789的博客
11-13 798
1.利用BufferedOutputStream给服务端传送文本文件没有使用bos.flush()，服务端能成功接收文本文件但内容为空；2.服务端利用BufferedOutputStream保存文本文件没有使用bos.flush()，文本文件内容也会为空；
java IO写文件至至txt丢失数据
tangtang5156的专栏
10-15 2282
用bufferedwriter写文件时需要追加按行写时应在每个write方法后用上 writer.new
Java在处理大数据的时候一些小技巧
12-22
例如，导出大量数据库数据时，可以使用分页技术，每次只处理一部分数据，而不是一次性加载所有数据。 2. 压缩：通过压缩技术减少数据占用的存储空间，例如Gzip或Bzip2，可以在处理大数据时降低内存需求。在Java中，...
java初级面试题总结（掌握了面试无忧）
cencong863251的博客
04-02 754
java初级面试题总结（掌握了面试无忧）欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导...
java葵花宝典中的宝典！
热门推荐
caoyongjunjava的专栏
10-05 1万+
葵花宝典之java    一：面向对象的特征有哪些方面     1. 抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题，而只是选择其中的一部分，暂时不用部分细节。抽象包括两个方面，一是过程抽象，二是数据抽象。 2. 继承：继承是一种联结类的层次模型，并且允许和鼓励类的重用，它提供了一种明确表述共性的方法。对象的一个新类可以
JAVA写文件内容部分缺失问题
pcww12的博客
10-11 1704
最近遇到了应用系统在生成批量文件时，文件尾部部分行缺失了一部分的情况。 写文件代码如下： BufferedWriter writer = getFileWriter(path, "UTF-8"); writer.write(content); writer.close(); 查询后发现，是写文件时使用了BufferedWriter类未刷新stream导致的。 以上代码在content内容大小超过一定限制时，会有一定概率出现buffer中的内容未写入文件，导致文件内容丢失。但这个异常不是必然出现，所以测试阶
一些常见问题
cczdbgf的博客
06-08 253
在完成一个Java项目的时候发现了一个关于BufferedWriter写入丢失问题我们通常认为，在IO的时候，不关闭一些流通常就是占用资源的缘故，但是其实可能远远不止这些隐患例如以下这段代码 按理来说应该在文件中有写入数据才对但实际上Zoo.txt是空的我们把流关闭试试 文件中出现了数据。我们在操作流之后一定要记得关闭流！！！！！Set集合可以放入null，因此造成了一些误解，比如，在一个HashSet中放入Student类型对象，即HashSet，其中Student对象可以为null，但是此时HashSe
java bufferedwriter 关闭_BufferedWriter在刷新并关闭后不会写入文件
weixin_34419203的博客
02-28 600
我有以下示例应用程序，我在其中写入文件并在关闭写入程序后立即尝试从文件中读取，但令我惊讶的是没有任何内容写入文件。BufferedWriter在刷新并关闭后不会写入文件我已经确认flush()和close()方法在我读取文件之前被调用，但即使这并不帮助我。有人能帮我理解为什么下面的代码不工作。public class TestWrite_Read {private File file;privat...
oracle 表空间的数据文件丢失或损坏的恢复
yigongye
09-03 5150
表空间的数据文件丢失或损坏的恢复   select ts#,file#,name from v$datafile; 查看表空间和编号       删除一个表空间文件     此时关闭数据库 再开启时发现系统提醒缺少文件     使用RMAN还原系统提示的数据文件5 restore datafile 5;     恢复数据库     此时可以开启数据库了  ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值