python批量读写docker-pg表

参考资料：https://www.psycopg.org/docs/cursor.html#cursor.copy_to

方案思路：基于psycopg2提供的copy_to和copy_from方法实现，过程中会产生一个中间文件用于暂存数据。

copy_to -> 中间文件 -> copy_from

读取pg表

#引入连接适配器
import psycopg2

##查看pg库databases \l
##查看pg库所有用户 \du ，password在启动容器时指定
##查看容器ip, docker inspect ${容器ID}
#连接pg库
conn1=psycopg2.connect(database="database",user="user",password="password",host="host",port="port")
cur1 = conn1.cursor()
# 下载表数据到本地
file_name ='file_name.txt'
source_table = 'tableName'
columns=['columns']
with open(file_name, 'w', encoding='utf-8') as f:
  cur1.copy_to(f, source_table, sep='|', null='\\N',columns=columns)

conn1.commit()
conn1.close()

写入pg表

#引入连接适配器
import psycopg2

#连接pg库
conn1=psycopg2.connect(database="database",user="user",password="password",host="host",port="port")
# 创建指针
cur2 = conn2.cursor()

# 导入数据到数据库
file_name ='file_name.txt'
from io import StringIO
s = StringIO()
with open(file_name, 'r', encoding='utf-8') as f:
  content = f.readlines()
  for line in content:
    print(line) # 循环写入数据到内存
    s.write(line)

s.seek(0)
target_table='tableName'
columns=['columns']
cur2.copy_from(s, target_table, columns=columns, sep='|')
conn2.commit()
conn2.close()

踩坑记录

注意copy_to 和 copy_from中columns参数的字段类型。