标签设计方案

设计目标: 400W用户 200个标签

总涉及标签数据 8亿条数据

1. mysql表结构设计

ID	uid	身份标签ID	状态
1	1	1	1
2	1	2	1
3	2	2	1
4	3	3	0

采用一对多的存储方式 即一个用户对应多条身份标签

2. mysql分表设计 2000W数据分一个表(不涉及大数据量存储 所以2000W数据为一个表)

分表数量 为40个表

根据用户ID取模分片 保证数据均匀落表(同时保证同一用户的身份信息在同一个表上)(缺点:扩容需要做大数据量数据迁移)

3. nosql存储方式

redis bitmaps存储方式
存储key值设计下面为准

耗费内存预估

1. 按照400W用户 200个标签来设计的话
   单个标签预计消耗内存0.5M
   对于存储所有的标签的key值 大约100M的空间足以支持

2. 如果需要单独存储用户下面所有的标签 耗费的内存 :
   单个用户耗费的内存 0.0000248M
   400W用户耗费内存 99.2M左右

{
    // 所有身份标签ID为1的用户身份标识
    "userlab:1":{
        "01001001"
    },
    // 所有身份标签ID为2的用户身份标识
    "userlab:2":{
        "01001001"
    },
    // 用户ID为1的用户所有的标签状态位
    "useralllab:user:1":{
	   "0101101011010010001"
	}
}

4.洗标签方式

采用redis队列+go协程来进行洗标签。结合go高并发来实现标签的快速清洗入库以及存储bitmaps