DB
文章平均质量分 51
Qredsun
这个作者很懒,什么都没留下…
展开
-
postgresql批量导入的效率优化
有近3万条数据需要从excel中导入postgresql中。之前使用to_sql方法实现,耗时2min上下,需要做一下简单的优化。 如果使用的mysql或者时SQL Server数据库可以在配置数据连接时,添加参数fast_executemany=True。但是postgresql数据库常用的psycopg2不支持这种配置。 推荐使用psycopg2的copy_from()函数,先看代码:# -*- coding:UTF-8 -*-""" @ProjectName : @FileNam原创 2021-03-22 16:34:57 · 8021 阅读 · 0 评论 -
pandas将数据从excel导入数据库
先上代码import pandas as pdfrom sqlalchemy import create_enginedef excel_to_DB(host='host', port='port', user='user', passwd='123456', db='dbname', path_excel='acu.xlsx', table_name='obstacle_2d_00'): """ 表数据存入DB :param host: 数据库地址 :par原创 2021-03-19 20:43:45 · 8722 阅读 · 0 评论 -
python .cursor(cursorclass=MySQLdb.cursors.DictCursor)解析
数据库连接池返回结果类型设置分析使用场景,设置数据库返回结果为字典类型:import MySQLdbfrom DBUtils.PooledDB import PooledDB# 建立数据库连接池pool = PooledDB(creator, maxconnections, host, user, passwd, db, port, charset)# 实现连接conn = poo...原创 2019-08-27 10:40:30 · 19922 阅读 · 0 评论 -
python关于mysql-python使用时返回时间数据为None,及ERROR: Command errored out with exit status 1:报错处理
1、在使用MySQLdb库连接数据库时,发现有时返回的数据库时间数据为:None。如下方所示:然而,使用相同的SQL在数据库中直接查询是有结果的。还有一个现象,在进行某些数据库查询的时候,是能够正常返回时间类型的数据。是什么原因造成的呢?使用脚本查询时,能够正常返回时间数据数据格式和返回为None的数据在表中的数据显示是有不通的,如下所示:(返回为None的时间数据)(正常返回结果...原创 2019-09-09 14:29:45 · 15743 阅读 · 0 评论