MongoDB与Redis的安装:
MongoDB:
1.安装MongoDB后,需要安装ROBO客户端。
Redis:
1.官网下载速度极慢,使用迅雷下载即可
2.无需安装客户端,直接进行交互式操作,不管是交互式操作(redis-cli)还是用python连接,均需要先打开redis服务。
MongoDB与Redis的区别及在爬虫中的扮演的角色
MongoDB:主要就是存储数据(永久性需要存储的数据)
Redis:内存数据库(读写快)-------1.作为中间表使用 2.判断重复(避免爬取同样的内容,浪费时间)