【Go Web】Go原生实现数据流的传输

一、背景

​ 当有较大的文件/大数据需要传输时，往往会采用数据流的形式发送请求。在Go中可以利用其原生的Web框架搭建数据流传送框架。

二、原理

​ 在Go的io流库中有一个神奇的函数就是Pipe()，它返回一个Reader和Writer类型的对象，**向Writer写入的数据可以从Reader中读出。**那么可以利用这个特性，Writer分块地读取需要传送的文件（数据流），在Reader中读取作为请求体传入Request即可。

三、具体实现

1、客户端

• 传送数据流核心是在客户端，相当于客户端文件分块地读取传送，形成数据流的形式。

func main() {
    rder, w := io.Pipe()  // io.Pipe() 函数，rder, w在客户端和服务端搭建数据流传输的桥梁。
   writerInfo := func() {  // 分块读取线程。
      defer w.Close()  // 要将writer 关闭，向服务端发送EOF信号，服务端结束接收数据量。
      for _, s := range []string{"1234", "56789", "101112", "131415"} {
         w.Write([]byte(s))
         time.Sleep(time.Second)  // 模拟读取数据流
      }
   }
   go writerInfo()  // 开启线程读取大文件
   client := http.Client{}
    // rder作为请求体发送数据流。
   req, e := http.NewRequest(http.MethodPost, "http://localhost:8080/", rder)
   if e != nil {
      panic(e)
   }
   client.Do(req)
}

• 在读取数据流的线程中记得关闭writer，否则客户端和服务端都不会接收数据的发送和传递。

2、服务端

// @File: main.go
// @Author: Jason
// @Date: 2022/9/4

package main

import (
	"bufio"
	"log"
	"net/http"
)

func main() {
	http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
		rder := bufio.NewReader(r.Body)
		b := make([]byte, 10)
		for {
			_, e := rder.Read(b)
			if e != nil {
				break
			}
			log.Println("Get:", string(b))
		}
		log.Println("END RECEIVE ==")
	})

	err := http.ListenAndServe("localhost:8080", nil)
	if err != nil {
		panic(err)
	}
}

• 对服务端进行的处理就是将请求体当成大的数据块，使用Reader接口封装读取即可。

• 输出结果如下:

2022/09/05 01:08:34 Get: 1234
2022/09/05 01:08:35 Get: 56789
2022/09/05 01:08:36 Get: 101112
2022/09/05 01:08:37 Get: 131415
2022/09/05 01:08:38 END RECEIVE ==