本文介绍了在处理320G大型数据集时，如何利用Java进行文件处理和目标数据截取。通过将数据分为16个20G文件，然后对每个文件中特定列进行快速排序和二分查找，提取最大值和最小值。此外，还涉及文件的读取、排序算法的选择以及数据保存等关键步骤。
实验中可能会接触到各种大小的数据库，随着机器学习和深度学习的广泛使用，实验中使用的数据库也越来越大。但是有些原始的开源数据库并不一定适合实验条件，因此需要对数据进行预处理。对于规模达到一定程度的数据库，如何进行处理是一件不好弄的事情。 由于最近在实验中需要对数据集进行预处理，数据集数据量较大，考虑到人工进行数据包的截取比较费力费时，就写了一个数据处理的小工具，处理的核心是对文件的操作，接下来就简单说说我在预处理工作中的对目标数据的截取。本次实验处理的数据库大小320G，分为16个文件，也就是每个文件将近20G大小数据空间，对每个文件进行独立数据包的截取。数据库存放的是离散数字信号。
java文件处理一些技巧
java提供很多文件处理的API，文件输入输出流，字符流或者字节流等等。常见的操作包括：
创建一个文件
File f=
最低0.47元/天 解锁文章
4102
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
