python操作postgresql

对数据进行选择操作最好在数据库中进行而非依赖python的pandas库，原因在于pandas库的运行时间较长，时间成本大。本篇文章介绍如何使用python操做postgres。

postgres安装

在官网中下载Mac环境下的postgresql安装包，傻瓜式安装。值得注意的点是，官方要求安装软件的名字必须是Postgresql，不要更改名字。

在命令行中运行postgres

如果将安装路径加到环境路径中，则可以再任意路径下运行psql进入数据库。可以进入postgresql的图形界面查看安装路径是什么。

在python中运行postgres

conn = psycopg2.connect(database="xiaotong", user="postgres", password="123456", host="127.0.0.1", port="5432")
cursor = conn.cursor()
cursor.execute(sql)
conn.commit()
ans = cursor.fetchall()
conn.close()

将csv导入数据库

在将数据导入数据库之前，首先应该将表头改成全小写的形式，否则会发生奇怪的报错（我的分析是：数据库中的表格属性只能是小写的，如果不改csv表格中的数据会对不上）。

# 将所有属性都改成小写
original_data.columns = list(map(lambda x:x.lower(),list(original_data.columns)))

# 生成create table 指令
def get_create_sql(root, original_data):
    '''get_create_sql
    input:
        root original_data
    output:
        create_sql'''
    create_sql = 'create table ' + root[:-1] + '('
    for column in original_data.columns:
        if original_data[column].dtype == 'object':
            create_sql += column 
            create_sql += ' char[40],'
        else:
            create_sql += column
            create_sql += ' float,'
    create_sql = create_sql[:-1]
    create_sql += ');'
    return create_sql

运行get_create_sql得到

create table dmv11(
	record_type char[40],
	registration_class char[40],
	state char[40],
	county char[40],
	body_type char[40],
	fuel_type char[40],
	reg_valid_date float,
	color char[40],
	scofflaw_indicator char[40],
	suspension_indicator char[40],
	revocation_indicator char[40]);

至此在数据库中生成一个空表名为dmv11，然后运行下面语句将csv数据导入dmv11。

copy dmv11 from '/Users/xiaotong/Desktop/deepice20220326/dmv11.csv' delimiter ',' csv header;

参考

1. markdown图片居中
2. PostgreSQL 从 csv 文件导入数据