mysql 并行读写_数据库并行读取和写入(Python实现)

这篇主要记录一下如何实现对数据库的并行运算来节省代码运行时间。语言是Python，其他语言思路一样。

前言

一共23w条数据，是之前通过自然语言分析处理过的数据，附一张截图：

要实现对news主体的读取，并且找到其中含有的股票名称，只要发现，就将这支股票和对应的日期、score写入数据库。

显然，几十万条数据要是一条条读写，然后在本机上操作，耗时太久，可行性极低。所以，如何有效并行的读取内容，并且进行操作，最后再写入数据库呢？

并行读取和写入

并行读取：创建N*max_process个进程，对数据库进行读取。读取的时候应该注意：

每个进程需要分配不同的connection和对应的cursor，否则数据库会报错。

数据库必须能承受相应的高并发访问(可以手动更改)

实现的时候，如果不在进程里面创建新的connection，就会发生冲突，每个进程拿到权限后，会被下个进程释放，所以汇报出来NoneType Error的错误。

并行写入：在对数据库进行更改的时候，不可以多进程更改。所以，我们需要根据已有的表，创建max_process-1个同样结构的表用来写入。表的命名规则可以直接在原来基础上加上1,2,3...数字可以通过对max_p