golang聚合处理,批次处理100条数据,不满100条过期1s自动提交

处理channel 100条数据写入一批数据，超过1s自动提交

package main

import (
	"io"
	"log"
	"math/rand"
	"os"
	"strconv"
	"strings"
	"time"
)

type LogBatch struct {
	Logs []string
}

type LogSink struct {
	logChan        chan string
	autoCommitChan chan *LogBatch // 超时通知
}


func main()  {
	logFile, err := os.OpenFile("test.log", os.O_CREATE | os.O_APPEND | os.O_RDWR, 0666)
	if err != nil {
		panic(err)
	}
	defer logFile.Close()
	mw := io.MultiWriter(os.Stdout,logFile)
	log.SetOutput(mw)
	logSink := &LogSink{
		logChan:        make(chan string, 2000),
		autoCommitChan: make(chan *LogBatch, 1000),
	}

	go logSink.writeLoop()
	page := 1
	for{
		time.Sleep(time.Millisecond * time.Duration(rand.Intn(500) + 700))
		for i := (page-1)*50; i< 50*page;i++ {
			logSink.logChan <- strconv.Itoa(i)
		}
		page++
	}
}



func (c *LogSink)writeLoop() {

	var (
		limit        = 100 // 100 条写入一次
		logStr       string
		logBatch     *LogBatch
		commitTimer  *time.Timer // 超时自动提交
		timeOutBatch *LogBatch
	)

	for {
		select {
		case logStr = <-c.logChan:
			if logBatch == nil {
				logBatch = &LogBatch{}

				commitTimer = time.AfterFunc(
					1*time.Second, func(logBatch *LogBatch) func() {
						return func() {
							// 批次传出来防止并发处理，进行串行处理
							c.autoCommitChan <- logBatch
						}
					}(logBatch),
				)

			}

			logBatch.Logs = append(logBatch.Logs, logStr)
			if len(logBatch.Logs) >= limit {
				// 发送日志 批量插入
				//time.Sleep(100*time.Millisecond) // gxz 加上，测试 timeOutBatch != logBatch 情况
				commitTimer.Stop() // 管定时器
				log.Println(strings.Join(logBatch.Logs, "|"))
				// 处理业务逻辑
				logBatch = nil

			}
		case timeOutBatch = <-c.autoCommitChan:
			// 第一种情况
			// 防止logBatch 刚好打满100 条， logBatch 开始成 nil 重复写入日志 stop 没有即时停止，超时批次 != nil
			// 刚好打了100条，limit 区间和 超时区间同时执行了，判断logBatch 不为nil
			// 第二种情况, autoCommitChan 提交了，但是 logBatch 上面新增了一条新数据或者多条，这时候，就出现了重复提交了，需要跳过
			if timeOutBatch != logBatch {
			
	
				continue
			}
			// 超时批量插入
			log.Println("超时:", strings.Join(timeOutBatch.Logs, "|"))
			// 处理业务逻辑 

			logBatch = nil // 清空批次
		}
	}

}