文章包含以下内容:
1.MongoDB
的下载,安装和命令行的使用
2.Studio 3T
(又名 RoboMongo)的下载和安装
3.adminMongo
的下载和安装
将在下一篇文章中介绍模块pymongo
的第三方库如何配合Studio 3T
或adminMongo
完成爬虫数据的数据库创建和整理
前言
以[Python爬虫]爬虫实例:离线爬取当当网畅销书Top500的图书信息爬取到的数据为例,数据格式如图:
保存时,直接将数据写入到csv文件中.虽然方便存储和利用Excel进行一定的数据分析,但是对于更加系统,复杂的查询和分析,或者是数据量越来越大时,我们还是建议将数据放到数据库比较合适.一般可以选择关系型数据库例如My SQL,Oracle SQL等.也可以选择非关系型数据库(NoSQL):键值存储数据库如Redis,列存储数据库如Hbase,图形数据库如Graph还有文档型数据库如MongoDB.
这里我们使用MongoDB储存管理我们的爬取的图书数据.
MongoDB的下载和安装
参考菜鸟教程的这篇下载安装即可 Windows 平台安装 MongoDB
这里我下载的是mongodb-win32-x86_64-2008plus