java 按行数切割文件_按最大行分割非常大的文本文件

小编典典

注意/ 及其子类的直接使用与/ 的/

factory方法之间的区别。在前一种情况下，如果未指定任何显式字符集，则使用系统的默认编码，而后者始终默认为。因此，我强烈建议您始终指定所需的字符集，即使它是或要记录您的意图，也可以避免在创建或的各种方法之间切换时感到意外。InputStreamReaderOutputStreamWriterReader``Writer

FilesUTF-8``Charset.defaultCharset()``StandardCharsets.UTF_8``Reader``Writer

如果要在行边界处分割，则无法解决文件内容的问题。因此，您无法像合并时那样优化它。

如果您愿意牺牲可移植性，则可以尝试一些优化。如果您知道字符集编码将明确映射'\n'到(byte)'\n'大多数单字节编码的情况，并且UTF-8您可以扫描字节级别的换行符以获取拆分的文件位置，并避免从应用程序中进行任何数据传输到I

/ O系统。

public void splitTextFiles(Path bigFile, int maxRows) throws IOException {

MappedByteBuffer bb;

try(FileChannel in = FileChannel.open(bigFile, READ)) {

bb=in.map(FileChannel.MapMode.READ_ONLY, 0, in.size());

}

for(int start=0, pos=0, end=bb.remaining(), i=1