postgresql批量插入copy_from()的使用

在批量插入postgresql时想使用同Mysql的语法时发现并不能使用:

cursor.executemany("INSERT INTO persons VALUES (%d, %s, %s)",[(1, 'John Smith', 'John Doe'),(2, 'Jane Doe', 'Joe Dog'),(3, 'Mike T.', 'Sarah H.')])

难道只能写成这样吗? insert into A values(xxxxxxxx),(xxxxxxxx),(xxxxxxxx)
但是这种方法及麻烦而且还不快, 后发现了copy_from()这个神奇的方法!

在参考:这位仁兄的博客 链接 后一直失败,提示缺少字段.这就很难受了,查阅所有百度的资料无解,大部分都是来回抄袭,毫无新意

参考pg的官网才豁然开朗:

COPY_FROM说明:
copy_from(file,table,sep ='\ t',null ='\\ N',size = 8192,columns = None)从类似文件的目标文件中读取数据,将它们附加到名为table的表中。
- file - 从中读取数据的类文件对象。它必须具有 read()和readline()方法。
- table - 要将数据复制到的表的名称。
- sep - 文件中预期的列分隔符。默认为选项卡。
- null - NULL文件中的文本表示。默认为两个字符串\N。
- size - 用于从文件中读取的缓冲区的大小。
- columns - 可以使用要导入的列的名称进行迭代。长度和类型应与要读取的文件的内容相匹配。如果未指定,则假定整个表与文件结构匹配。

例:

import StringIO
>>> f = StringIO("42\tfoo\n74\tbar\n") 
>>> cur.copy_from(f, 'test', columns=('num', 'data')) 
>>> cur.execute("select * from test where id > 5;") 
>>> cur.fetchall() [(6, 42, 'foo'), (7, 74, 'bar')]

在此特别提示:

1.表的名称未引用:如果表名包含大写字母或特殊字符,则必须使用双引号引用:
cur.copy_from(f, ‘“TABLE”’)
2.在批量插入的每个数据之间用<\t>分割,在一条数据的末尾用<\n>分割.

附本人代码段:

tap = (indent_num, it.get(u'商品编码'),it.get(u'商品名称'),it.get(u'批发价'),it.get(u'零售指导价'),it.get(u'需求量'),it.get(u'订购量'),it.get(u'金额'),it.get(u'预计盈利'),cigarette_price)
values_list.append('\t'.join(tap))
s = ''
for value in values_list:
    s += value + '\n'
cur = self.conn.cursor()
try:
# cur.executemany(insert_sql)
    cur.copy_from(StringIO.StringIO(s), table,
    columns=('indent_num', 'commodity_code', 'commodity_name', 'rade_price', 'guidance_price', 'requirement', 'order_quantity','amount_of_money','wholesale_price','cigarette_price'))
except Exception as e:
    raise e
finally:
    self.conn.commit()
    print 'done'
  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
PostgreSQL是一种开源的关系性数据库管理系统,支持大量的数据类型和高级功能。而MyBatis是一个优秀的基于Java的持久层框架,可以将应用程序中的Java对象映射到关系数据库中。 在使用MyBatis进行 PostgreSQL 批量插入时,可以使用批处理技术来提高插入效率。具体做法是首先使用 MyBatis 的批量插入功能进行插入数据,然后再调用 PostgreSQL 中的 COPY 命令将数据批量导入数据库。 首先,在MyBatis的 Mapper.xml 文件中,我们需要定义批量插入的 SQL 语句。SQL 语句中使用foreach标签来循环插入所有数据行。具体参数可以根据需要进行调整,样例如下: ``` <insert id="batchInsert"> INSERT INTO table_name (column1, column2, ...) VALUES <foreach collection="list" item="item" separator=","> (#{item.column1}, #{item.column2}, ...) </foreach> </insert> ``` 然后,在 Java 代码中调用批量插入功能。具体代码如下: ``` SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false); try { Mapper mapper = sqlSession.getMapper(Mapper.class); for (Data data : dataList) { mapper.insert(data); } sqlSession.commit(); } finally { sqlSession.close(); } ``` 最后使用 COPY 命令进行批量导入数据。指定文件路径和分隔符,将数据文件中的内容导入到数据库中。具体代码如下: ``` COPY table_name FROM '/path/to/data.csv' WITH (FORMAT csv, DELIMITER ',', HEADER false); ``` 通过这种方式,可以有效地实现 PostgreSQL 批量插入 MyBatis 数据。同时也可以提高数据处理效率,降低系统负担。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值