个人中心项目--页面/用户浏览量统计模块（一）

1.功能模块构思

1.1描述：

我们经常可以看见每条新闻或者文章都会有一个浏览量统计标记，近的说，CSDN的每条博客不也有一个文章浏览量统计嘛，所以也想着为项目加一个这个功能，说来这个功能也没什么难的，在需要统计的页面加一个计数器然后存在数据库对应字段不就好了。但是，这样真的就是最好的办法嘛？频繁的数据库IO，对于我们自己玩的项目貌似没什么，但是一切需要考虑长远，万一你的项目之后发达了，数千万的访问量，你这样做频繁IO数据库肯定是不太友善的。所以我们需要构思一个合理的解决办法。其实，这部分也很容易想到，那就是Redis缓存。为每个网页配一个独立的Reids计数器就可以了，将计数器的Key加上当天的时间信息，每天凌晨将这些字段再一起写到数据库。这样一来，即使再大的流量，也只需要很少的数据库IO即可解决。

1.2 思路：

有的网页需要统计页面浏览量，这部分如上所说，我们只需要为这些网页独立地提供Redis计数器就可以了，这样来一个请求，执行incrby指令一次，最终就可以统计出所有的页面浏览量。但是当我们需要统计用户浏览量时，以上方法就不太适合了，因为用户浏览量统计是需要去重的，同一用户一天之内的多次访问只能算作一次计数，这就要求网页请求时都需要带上用户ID的唯一标识信息。只要会Redis的一点基础的同学，很快便能想到解决方法，那就是为每个网页独立设置一个set集合来存储当天访问该网页的所有用户ID。当一个请求来时，使用sadd将用户ID加进去就好了，之后通过scard便可以统计这个集合的大小，这个统计量便是我该网页用户访问量数据。这的确是一个很简单的方法。但是还是上面的梦想，如果你的项目爆红，某些网页用户访问量破千万，那么就会出现好几个超大的set集合来存放用户ID。其实，我们只需要直到访问的用户数量，而不需要用户的具体ID信息，我们以很大的空间浪费为代价只为一个set去重功能，这是很不划算的。所以我们还可以试着寻找更合适的方法来解决这个问题。其实，Redis中还有一种数据结构HyperLogLog，来提供不精确的去重方案，这里的不精确标准差很小，0.81%，足够满足我们的需求。

所以，我们的这个模块解决方案已经有了：

2.知识预备

2.1HyperLogLog指令测试

PS：这部分知识主要是总结学习钱文品老师的《Redis深度历险》一书，这本书很不错，可以去看看。
HyperLogLog提供了pfadd指令用来添加用户ID，用法和sadd一样；还提供了pfcount指令直接获取统计数值。
简单测试代码：

127.0.0.1:6379> pfadd 2020_07_26_0003 user1
(integer) 1
127.0.0.1:6379> pfadd 2020_07_26_0003 user2
(integer) 1
127.0.0.1:6379> pfadd 2020_07_26_0003 user3
(integer) 1
127.0.0.1:6379> pfcount 2020_07_26_0003
(integer) 3
127.0.0.1:6379> pfadd 2020_07_26_0003 user2
(integer) 0
127.0.0.1:6379> pfcount 2020_07_26_0003
(integer) 3
127.0.0.1:6379> pfadd 2020_07_26_0003 user4
(integer) 1
127.0.0.1:6379> pfadd 2020_07_26_0003 user5
(integer) 1
127.0.0.1:6379> pfcount 2020_07_26_0003
(integer) 5

2.2 HyperLogLog空间占用

HyperLogLog这个数据结构需要占用12KB的存储空间，所以不适合统计单个用户相关的数据，当用户数量很大时，所需要的空间数量也是极大的，但是和set方案比起来，HyperLogLog所需要的空间还真的不足为道。不过Redis也对HyperLogLog的存储进行了优化，在计数量少的时候，它的存储空间使用稀疏矩阵存储，空间占用很小，仅当数据量占用空间超过一定阈值时，才会一次性转换为稠密矩阵，才会占用12KB。

PS

这对段时间也一直在学JVM虚拟机相关知识，这个项目停下来挺久了；接下来这项目加的内容主要是钱老师Redis书里的一些知识总结与实践应用，学习-总结-运用。