lcl_032015的博客

Redis 1.Redis是一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server （远程数据服务），使用C语言编写，Redis是一个key-value存储系统（键值存储系统） 它是一种 NoSQL（not-only sql，泛指非关系型数据库）的数据库。 Redis 作为一个内存数据库：性能优秀，数据在内存中，读写速度非常快，支持并发 10W QPS。单进程单线程，是线程安全的，采用 IO 多路复用机制。丰富的数据类型，支持字符串（strings）、散

URL去重问题 URL 去重思路 在不考虑业务场景和数据量的情况下，我们可以使用以下方案来实现 URL 的重复判断： 1.使用 STL的 Set 集合，根据添加时的结果来判断 URL 是否重复（添加成功表示 URL 不重复）； 2.使用 Redis 中的 Set 集合，根据添加时的结果来判断 URL 是否重复； 3.将 URL 都存储在数据库中，再通过 SQL 语句判断是否有重复的 URL； 4.把数据库中的 URL 一列设置为唯一索引，根据添加时的结果来判断 URL 是否重复； 5.使用 Guava 的布