pandas与mysql
利用pymysql
包能根据要求逐条或批量取出数据库中的数据。
若遇到将数据表全部导出成为一个DataFrame
或将整个DataFrame
直接存储的情况,我们可以考虑用[sqlalchemy
包](http://www.sqlalchemy.org/)。
Pandas.dataframe
直接存储Mysql数据库:
#建立连接
import pandas as pd
from sqlalchemy import create_engine
conn = create_engine('mysql+pymysql://root:Zs1tss11!@localhost:3306/guangzhouIC?charset=utf8')
create_engine()
用来初始化数据库连接,用一个字符串连接数据库:
'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名'
存储数据至数据库:
pd.io.sql.to_sql(df, table, conn, schema='guangzhouIC', if_exists='append', index=False)
df是需要存储的DataFrame
table 表示对应mysql 的表
scheme 表示对应mysql中的数据库名称
if_exists 有三个options:
fail ---- 如果表存在,什么也不执行
replace----如果表存在,则删除原表,再建立一个新表,将数据插入。
append----如果表存在,将数据在表后继续插入,如果表不存则创建一个新表插入数据。
从mysql中取出数据为DataFrame:
frame = pd.read_sql(sql, conn, index_col="IC_up_id")
sql
:sql语句。
index_col
:表示从数据库中导出的列作为DataFrame 的index。
mysql or
相当慢,多条件查询,请使用union。可以参考:
http://www.cnblogs.com/xh831213/archive/2012/05/09/2491272.html
mysql时间日期的处理
MySQL 日期、时间转换函数:date_format(date,format), time_format(time,format) 能够把一个日期/时间转换成各种各样的字符串格式。它是 str_to_date(str,format) 函数的 一个逆转换。
mysql中datetime类型的怎么根据条件查询?
SELECT * from xxx_table WHERE DATE_FORMAT(date_col,'%Y-%m-%d') = DATE_FORMAT(NOW(),'%Y-%m-%d')
错误信息:
ValueError: unsupported format character ‘Y’ (0x59) at index 70
产生原因:
因为python
执行的sql
中存在类似DATE_FORMAT(MAX(CREATE_TIME), ‘%Y-%m-%d’)
的写法, 其中%Y
与python
的参数%s
冲突
解决方法:将DATE_FORMAT(MAX(CREATE_TIME), ‘%Y-%m-%d’)
修改为DATE_FORMAT(MAX(CREATE_TIME), ‘%%Y-%%m-%%d’)
即可
sql = "select * from "+ sqlTable_ + " where date between date_format(\'"+ date_[0]+ "\',\'%%Y-%%m-%%d\') and date_format(\'" + date_[1] + "\',\'%%Y-%%m-%%d\')"