psycopg2几个小坑

python连接greenplum的时候,需要使用psycopg2这个包,这个包在连接数据库大批量写入文件的时候有几个小坑需要留意。

1、表不存在

错误err:

psycopg2.errors.UndefinedTable: relation“表名“ does not exist

这个是你使用copy_from方法大批量导入数据经常报的错误,这个错误是版本问题,把你当前的版本退回到psycopg2==2.8.4即可

2、数据对不上

错误err:

psycopg2.DataError: extra data after last expected column

value too long for type character varying

这个是你使用copy_from   方法的时候有个sep选项一定要改好,可以把sep="&",避免出现文件中多处一致的符号,从而导致数据表头列数和值的列数对不上,示例如下。

    def insert_copy_df(self, tablename, df: pd.DataFrame()):
        fp = StringIO()
        df.to_csv(fp, sep='&', index=False, header=False)
        value = fp.getvalue()
        conn = self.gp_connect()
        cur = conn.cursor(cursor_factory=psycopg2.extras.RealDictCursor)
        cur.copy_from(StringIO(value), tablename, sep="&",
                      columns=['col1', 'col2', 'col3', 'col4'])
        conn.commit()
        cur.close()
        conn.close()

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ITIRONMAN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值