python下pymysql的问题

本文和上篇的seaweedfs的使用有丝丝关联，还是在下图的时候遇到的，之前已经把图片url保存到mysql了，然后需要从数据库读出来并且request并push到seaweedfs上，在这个过程中遇到过一个问题，就是我在多个进程中对数据库进行操作。

问题来源是，我们当前数据库数据有600万数据，所以无法一次性读出来去请求下载，所以需要每次读取一个batch然后再下载；我的策略主要是使用master和worker进程分开处理读取数据、下载图片，master进程读取数据库数据，传入worker中进行下载并更新数据库。基本原理很简单，但是测试的时候发现一个问题，就是update是放到worker进程中。因为我们使用mysql，所以就用pymysql作为连接库，但是master读取的时候，发现每次在worker中update的数据master读取的时候发现没更新，所以这就尴尬了。查了下发现这是mysql默认存储引擎是MyISAM，MyISAM存储引擎不支持事务处理。所以通过设置autocommit(1)之后，worker上update操作就可以在master进程上读取了。