mongodb 查询效率_Python爬取100G级别，2000K以上数据量，用mysql还是mongodb？-CSDN博客

这个问题我们可以从两个角度去解答。一个是100G的数据量用MySQL和MongoDB在存读取上有什么区别，另一个是数据本身的结构和你要进行的应用来考虑使用哪种数据库比较方便。

进群：864573496 加入千人交流基地！一起共同学习，资源互享！

100G的数据量

目前来看100G的数据量其实对MySQL和MongoDB在存放都没有什么压力，如果你要经常读取，那么我建议你的MongoDB来做存储。原因在于MongoDB是内存映射模式，可以充分利用系统的内存资源，内存越大MongoDB的查询速度越快，毕竟磁盘与内存的I/O效率不是一个量级的。

如果你对查询的速度要求不高，而且爬下来的数据是结构化数据，你又熟悉MySQL的语法及相关操作，完全可以用MySQL去存这个级别的数据量，就相当于你存储了一个大型Excel表格。

数据结构

如果数据结构是不一致的，即不会有些行缺失某些字段，有些行又多出一些字段，那么我建议使用MongoDB做存储处理。因为Mongo没有schema的严格定义，是json格式存取。如果爬虫的字段会经常变化，字段定义可能会变更，Mongo对这方面很宽松，很容易兼容。但如果你对事务有要求，最好还是选择MySQL。因为MongoDB这种NoSQL数据库并不是为了事务关系而设计的，具体应用还是看需求。

总而言之，我个人是比较建议使用MongoDB做海量爬虫数据库存储。无论从数据结构的不规整以及数据存读取的速度要求，Mongo都可以胜任，同时MongoDB可以很轻松的横向扩展，分片，复制集群分分钟的事。

不过最终落地还是看需求，还是要从数据存读取频度、量级还有应用场景综合考虑。

每个技术都有自己的应用场景，技术的选择都需要与自己的应用场景结合！

通常来说，千万条以上的数据，mysql数据库的性能会有明显下降，当然可以通过配置主从，或者使用中间件来提高性能。对于mongoDB来说，100G，2000W的数据量应该算是正常，管理上会比mysql简单。但是如果需要较强的事务性、一致性等，mongo可能就不能满足要求。

爬虫爬取下来的数据很多可以直接非结构化的存储，对存储的字段尚未有清晰确定，且因为你的量级很大，不会立马分析，所以建议存储在mongodb 中，以便于进行下一步数据挖掘处理

接下来让小编介绍一下mysq和mongodb的区别

插入稳定性分析

插入稳定性是指，随着数据量的增大，每插入一定量数据时的插入速率情况。

在本次测试中，我们把这个指标的规模定在10w，即显示的数据是在每插入10w条数据时，在这段时间内每秒钟能插入多少条数据。

先呈现四张图上来：

1.MongoDB指定_id插入：

2.MongoDB不指定_id插入：

3.MySQL指定PRIMARY KEY插入：

4.MySQL不指定PRIMARY KEY插入：

分析：

1.如果MySQL没有经过查询优化的话，其查询速度就不要跟MongoDB比了。MongoDB可以充分利用系统的内存资源，我们的测试机器内存是64GB的，内存越大MongoDB的查询速度就越快，毕竟。

2.本次实验的查询的数据也是随机生成的，因此所有待查询的数据都存在MongoDB的内存缓存中的概率是很小的。在查询时，MongoDB需要多次将内存中的数据与磁盘进行交互以便查找，因此其查询速率取决于其交互的次数。这样就存在这样一种可能性，尽管待查询的数据数目较多，但这段随机生成的数据被MongoDB以较少的次数从磁盘中取出。因此，其查询的平均速度反而更快一些。这样看来，MongoDB的查询速度波动也处在一个合理的范围内。

3.MySQL的稳定性还是毋庸置疑的。

在数据库存放的数据中，有一种特殊的键值叫做主键，它用于惟一地标识表中的某一条记录。也就是说，一个表不能有多个主键，并且主键不能为空值。

无论是MongoDB还是MySQL，都存在着主键的定义。

对于MongoDB来说，其主键名叫”_id”，在生成数据的时候，如果用户不主动为其分配一个主键的话，MongoDB会自动为其生成一个随机分配的值。

在MySQL中，主键的指定是在MySQL插入数据时指明PRIMARY KEY来定义的。当没有指定主键的时候，另一种工具——索引，相当于替代了主键的功能。索引可以为空，也可以有重复，另外有一种不允许重复的索引叫惟一索引。如果既没有指定主键也没有指定索引的话，MySQL会自动为数据创建一个。