MongoDB、MySQL、Redis区别

MongoDB MySQL Redis 区别和使用使用场景

• MySQL是关系型数据库，支持事物
• MongoDB，Redis是非关系型数据库，不支持事物
• mysql，MongoDB，Redis的使用根据如何方便进行选择
  • 希望速度快的时候，选择MongoDB或Redis
  • 数据量过大的时候，选择频繁使用的数据存入Redis，其他的存入MongoDB
  • MongoDB不用提前建立数据库，使用方便，字段数量不确定的时候使用MongoDB
  • 后续需要用到数据之间的关系，使用MySQL

爬虫去重

• 使用数据库关键字段(一个或多个)的唯一索引进行去重

• 根据url地址进行去重

  • url地址对应的数据不会变的情况,url地址能够唯一的判别一条数据的情况

• 布隆过滤器

  • 使用多个加密算法加密url地址,得到=多个值
  • 往对应值的位置把结果设置为 1
  • 新来一个url地址, 一样通过加密算法生成多个值
  • 如果对应位置的值全为 1,说明这个url地址已经抓过
  • 否则没有抓过,就把对应位置的值位置设置为 1

• 根据数据本身进行去重

  • 选择特定的字段,使用加密算法