Go语言中异步拆分io.Reader

原文地址

在Go语言中处理任何stream数据时，我已经深陷io.Reader和io.Writer的灵活性中不能自拔。同时我在有一点上又或多或少的受了些折磨，挑战我的reader interface在你看来可能会觉得很简单：那就是怎么样拆分读操作。

我甚至不知道使用“拆分（split）”这个词是否正确，我就是想通过io.Reader多次读取接收到的东西，有时候可能还需要并行操作。但是由于readers不一定会暴露Seek方法重置读取位置，我需要一个方法来复制它。或者可以算是clone或fork么？

现状

假设你有一个web服务允许用户上传一个文件。这个服务将会把文件存储在云端。但是在存储前需要对这个文件进行一些简单的处理。对于接下来的所有请求，你都不得不使用io.Reader去处理。

解决方案

当然，有不止一种方法可以处理这种情况。根据文件的类型，服务的吞吐量，以及文件需要的处理方式的不同有些方式可能比其他的更合适。下面，我给出了5中不同复杂度和灵活性的方法。可以想象还会有更多的方法，但是这几个会是一个不错的起点。

Solution #1：简单的bytes.Reader

如果源reader没有Seek方法，为什么不自己实现一个呢？你可以把所有的内容都读取到一个bytes.Reader中，然后你想分多少次读取都可以，只要你开心：

func handleUpload(u io.Reader)(err error) {
    //capture all bytes from upload
    b, err := ioutil.ReadAll(u)
    if err != nil {
        return err
    }

    //wrap the bytes in a ReaderSeeker
    r := bytes.NewReader(b)

    //process the metadata
    err = processMetaData(r)
    if err != nil {
        return err
    }

    r.Seek(0, 0)

    //upload the data
    err = uploadFile(r)
    if err != nil {
        return err
    }

    return nil
}

如果数据足够小，这可能是最方便的选择；你可以完全忘掉bytes.Reader并使用*byte slice的方式代替工作。但是假如是大文件，如视频文件或RAW格式的照片等。这些庞然大物将吞噬你的内存，特别是如果服务还具有高流量特征时。更何况（not to mention）你不能并行执行这些操作。

• 优点：最简单的方案
• 缺点：同步，无法适应你期望的很多、很大的文件。

Solution #2：可靠的文件系统

OK，那么将数据放到磁盘中的文件如何（借助ioutil.TempFile),并且可以避免将数据存储在内存中带来的隐患。

func handleUpload(u io.Reader)(err error) {
    //create a temporary file for the upload
    f, err := ioutil.TempFile(&