建表语句:
DROP TABLE IF EXISTS `stock_discover`;
CREATE TABLE `stock_discover` (
`code` char(6) NOT NULL,
`index` int(11) unsigned NOT NULL DEFAULT '0',
`name` varchar(20) NOT NULL,
`exchange` varchar(10) NOT NULL DEFAULT '',
`date` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`yesterday` double unsigned NOT NULL,
PRIMARY KEY (`code`,`index`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC;
单个添加更新
如果记录在表中不存在则进行插入,如果存在则进行更新:
#方法比较蠢,主要是使用 ON DUPLICATE KEY UPDATE
sql = "INSERT INTO stock_discover VALUES ('%s', 2, '%s', 'HZ', '%s', '%s')" \
" ON DUPLICATE KEY UPDATE `date` = '%s' , yesterday = '%s''"
#数据格式
data = ['000005', u'合肥', '2018-09-19 14:55:21', u'2520.64']
sql = sql % (data[0], data[1], data[2], data[3], data[2], data[3])
cursor.execute(sql)
批量添加更新
在更新大量数据时可能同时遇到两个问题:
① 如果每条更新执行一次sql性能很低,也容易造成阻塞;
② 批量更新时又有可能遇到主键重复的问题
使用 ON DUPLICATE KEY UPDATE 一条sql解决批量更新和主键重复问题(id为主键),使用executemany进行批量插入
# 记录在表中不存在则进行插入,如果存在则进行更新
sql = "INSERT INTO `stock_discover` VALUES (%s, %s, %s, %s, %s, %s) " \
"ON DUPLICATE KEY UPDATE `date` = VALUES(`date`) , yesterday = VALUES(yesterday)"
#数据格式如下:
data_info = [('000005', 2, u'合肥', 'HZ', '2018-09-19 14:55:21', u'2520.64'),
('000006', 2, u'北京', 'HZ', '2018-09-19 14:55:21', u'2694.92'),
('000007', 2, u'上海', 'HZ', '2018-09-19 14:55:21', u'2745.38')]
#批量插入使用executement
cursor.executemany(sql, data_info)
注意:
ON DUPLICATE KEY UPDATE是mysql特有的语法,对于其他sql并不一定适用