java读取input选择打的文件_读取文件的前N个字节作为Java中的InputStream...

在我的一生中,我一直无法找到与我想做的事情相匹配的问题,因此在这里我将解释我的用例.如果您知道某个主题已经涵盖了此问题的答案,请随时将我引向该主题. ?

我有一段代码可以定期(每20秒)将文件上传到Amazon S3.该文件是由另一个进程写入的日志文件,因此此功能实际上是尾随日志的一种方式,以便某人可以半实时读取其内容,而不必直接访问日志所在的计算机. .

直到最近,我一直只是使用S3 PutObject方法(使用File作为输入)来执行此上传.但是在AWS开发工具包1.9中,此方法不再起作用,因为如果实际上传的内容大小大于上传开始时承诺的内容长度,则S3客户端会拒绝该请求.此方法在开始流传输数据之前先读取文件的大小,因此,鉴于此应用程序的性质,文件很可能在该点与流的末尾之间已增大.这意味着无论文件有多大,我现在都必须确保仅发送N个字节的数据.

我不需要以任何方式解释文件中的字节,因此我不关心编码.我可以逐字节传输它.基本上,我想要的是一种简单的方法,可以读取直到第N个字节的文件,然后即使文件中有更多数据超过该点,也可以终止读取. (换句话说,将EOF插入流中的特定位置.)

例如,如果开始上载时我的文件长为10000字节,但是在上载期间增长到12000字节,则无论大小更改如何,我都希望以10000字节停止上载. (在随后的上传中,我然后将上传12000字节或更多.)

我还没有找到执行此操作的预制方法-到目前为止,我发现最好的方法似乎是IOUtils.copyLarge(InputStream,OutputStream,offset,length),可以告诉它复制最大的“长度”提供的OutputStream的字节数.但是,copyLarge和BlockObject一样都是阻塞方法(大概在InputStream上调用read()的形式),因此看来我根本无法使它正常工作.

我还没有找到任何可以执行此操作的方法或预构建的流,因此让我认为我需要编写自己的实现来直接监视已读取的字节数.然后,这可能像BufferedInputStream一样工作,其中每批读取的字节数是缓冲区大小或要读取的剩余字节中的较小者. (例如,在缓冲区大小为3000字节的情况下,我将进行三批处理,每批处理3000字节,然后再批处理1000字节的EOF.)

有人知道更好的方法吗？谢谢.

编辑为了澄清一下,我已经知道了几种替代方法,但都不是理想的：

(1)我可以在上传文件时锁定它.这样做会导致数据丢失或写入文件的过程中的操作问题.

(2)我可以在上传文件之前创建文件的本地副本.这可能会非常低效,并且会占用大量不必要的磁盘空间(此文件可能会扩展到几GB的范围,并且正在运行的计算机可能会缺少磁盘空间).

编辑2：根据同事的建议,我的最终解决方案如下所示：

private void uploadLogFile(final File logFile) {

if (logFile.exists()) {

long byteLength = logFile.length();

try (

FileInputStream fileStream = new FileInputStream(logFile);

InputStream limitStream = ByteStreams.limit(fileStream, byteLength);

) {

ObjectMetadata md = new ObjectMetadata();

md.setContentLength(byteLength);

// Set other metadata as appropriate.

PutObjectRequest req = new PutObjectRequest(bucket, key, limitStream, md);

s3Client.putObject(req);

} // plus exception handling

}

}

LimitInputStream是我的同事建议的,显然不知道它已被弃用. ByteStreams.limit是当前的番石榴替代品,它可以满足我的要求.感谢大家.