你是如何写分批处理数据的代码的

分批处理代码框架

这个分批处理框架可以应用于多种需要处理大量数据，但每次只能处理一部分数据的场景。这种框架有助于管理内存使用、优化处理时间，并避免在单个操作中处理所有数据可能导致的性能问题或超时。以下是一些具体的应用场景：

数据库批量插入：
当您需要将大量数据插入数据库中时，分批处理可以避免一次性加载所有数据到内存中，从而减少内存消耗，并可能提高数据库操作的性能。

代码:

package main

func main() {
	totalRows := 3001
	batchSize := 1000
	// 计算分批数
	groupNum := totalRows / batchSize
	if totalRows%batchSize > 0 {
		groupNum++ // 如果有余数，则需要多写一批
	}
	// 分批写入数据
	for i := 0; i < groupNum; i++ {
		// 计算当前批次的起始和结束索引
		start := i * batchSize
		end := start + batchSize
		if end > totalRows {
			end = totalRows // 确保不会超出总数
		}
		// 当前批次
		for i := start; i < end; i++ {
			// 处理数据
		}
	}
}

注意这里是已知总数计算出分批数。