golang实现http表单大文件流式上传服务端代码
golang的http标准库的上传文件是一次性将文件全部读到内存中,这样上传小文件还可以,但是大文件就无能为力了。
一开始在网上找到一篇gin实现大文件流式上传的文章。大体思路是手动解析form表单的header和body,然后分片读取上传的文件内容。但是代码量有点多且复杂。有兴趣的同学可以自行百度。
后来在github找到一个库
github.com/albrow/forms
可以看到这个库读取上传文件的方法
func (d Data) GetFileBytes(key string) ([]byte, error) {
fileHeader, found := d.Files[key]
if !found {
return nil, nil
} else {
file, err := fileHeader.Open()
if err != nil {
return nil, err
}
return ioutil.ReadAll(file)
}
}
最后使用的是ioutil.ReadAll,大文件上传的话就会有问题,要实现流式上传,可以在这个包里加一个方法。以下是我自己加的方法
func (d Data) GetFileReader(key string) (io.Reader, error) {
fileHeader, found := d.Files[key]
if !found {
return nil, nil
} else {
file, err := fileHeader.Open()
if err != nil {
return nil, err
}
return file, nil
}
}
得到reader后使用io.Copy即可将文件落盘
userData, err := forms.Parse(c.Request)
if err != nil {
log.Printf("parse错误:%v", err)
return
}
header := userData.GetFile("file")
fileReader, err := userData.GetFileReader("file")
if err != nil {
log.Printf("获取reader错误:%v", err)
return
}
file, _ := os.Create(header.Filename)
io.Copy(file, fileReader)