mysql中导出pd_pd.to_sql()的使用方法

参见pandas.read_sql的文档,read_sql主要有如下几个参数:

sql:SQL命令字符串

con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立

index_col: 选择某一列作为index

coerce_float:非常有用,将数字形式的字符串直接以float型读入

parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。

columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了

chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。

params:其他的一些执行参数,没用过不太清楚。。。

以链接常见的mysql数据库为例:

importpandas as pdimportpymysqlimportsqlalchemyfrom sqlalchemy importcreate_engine#1. 用sqlalchemy构建数据库链接engine

connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE) #1

engine =create_engine(connect_info)#sql 命令

sql_cmd = "SELECT * FROM table"df= pd.read_sql(sql=sql_cmd, con=engine)#2. 用DBAPI构建数据库链接engine

con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)

df= pd.read_sql(sql_cmd, con)

参见pandas.to_sql函数,主要有以下几个参数:

name: 输出的表名

con: 与read_sql中相同,数据库链接

if_exits: 三个模式:fail,若表存在,则不输出;replace:若表存在,覆盖原来表里的数据;append:若表存在,将数据写到原表的后面。默认为fail

index:是否将df的index单独写到一列中

index_label:指定列作为df的index输出,此时index为True

chunksize: 同read_sql

dtype: 指定列的输出到数据库中的数据类型。字典形式储存:{column_name: sql_dtype}。常见的数据类型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等,具体数据类型可以参考这里

还是以写到mysql数据库为例:

df.to_sql(name='table',

con=con,

if_exists='append',

index=False,

dtype={'col1':sqlalchemy.types.INTEGER(),'col2':sqlalchemy.types.NVARCHAR(length=255),'col_time':sqlalchemy.DateTime(),'col_bool':sqlalchemy.types.Boolean

})

注意:**如果不提供dtype,to_sql会自动根据df列的dtype选择默认的数据类型输出,比如字符型会以sqlalchemy.types.TEXT类型输出,相比NVARCHAR,TEXT类型的数据所占的空间更大,所以一般会指定输出为NVARCHAR;而如果df的列的类型为np.int64时,将会导致无法识别并转换成INTEGER型,需要事先转换成int类型(用map,apply函数可以方便的转换)。

注意:一定要记得提供一dtype类型,不然批量 插入的速度会很慢。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值