fatal error: concurrent map iteration and map write - 关于Go中并发访问Map的操作

0x00 缘起

存在以下需求, 需要服务器统计提交到服务器所有的关键字的次数. 也就说, 服务器将接收到一组关键字数组, 而服务器要将所有的关键字进行累加. 毫无疑问, 若在单线程中进行上述业务, 无需考虑并发问题. 而本次业务要求为: 使用Go中的Map实现, 且不借助数据库软件.

使用Map设计过程中, 使用了整体锁与元素锁结合的方式, 可是出现了错误: "fatal error: concurrent map iteration and map write;", 本文将记录解决问题的方法.

0x01 思路

起初, 设计的数据结构中, 存在整体锁和元素锁.

整体锁的作用为: 当批量的操作整个表时, 如造成表结构发生变化时, 使用整体锁锁定临界资源, 实现并发访问.

元素锁也就是对Map中每一个元素的锁, 也就是对某一个元素进行读写时, 需要使用的锁, 如以下代码.

	countTable = model.SafeDictCountTable{
		Table:      make(model.DictCountTable),
		TableMutex: sync.RWMutex{},
		ElementMutexes: make(map[string]*sync.RWMutex),
		NextID:  1,
		IDMutex: sync.RWMutex{},
	}

其中, Table为临界资源, TableMutex为整体锁, ElementMutexes为元素锁. 两个锁的优势为: 能够一定程度上提高并发能力, 支持元素级别细粒度的访问.

以下为对上述结构的算法, 算法首先锁住整张表, 获取到元素锁后, 释放对整张表的锁定. 开始对元素进行操作.

func countKey(key string) {
	/**
	- 对于Map的细粒度访问是Map整体, 而不是其中某一个元素
	- 本写法希望对整体有锁, 对于某个元素有锁, 可是这样