pgloader mysql_pgloader-pg迁移神器

pgloader是一款强大的PostgreSQL数据迁移工具,它可以从SQLite、MySQL、MS SQL Server等数据库导入数据,自动转换数据类型并处理错误数据。虽然不支持增量复制,但在项目初期的数据迁移中非常有用。本文介绍了pgloader的工作原理、安装步骤、命令语法及多个示例,包括CSV文件、MySQL数据库、固定宽度字符串和压缩文件的加载。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、介绍

pgloader是一款PostgreSQL数据迁移工具,最初只用于支持格式化文件的数据快速导入到PostgreSQL。pgloader支持跳过无法导入的出错数据并进行记录,因此在源数据文件有部份错误数据的情况下依然可以继续完成迁移任务,节省迁移排错后重复导入的时间损耗。最新的版本中,还支持直接将SQLite、MySQL、MS SQL Server数据库作为数据源,进行数据的直接导入,并针对不同数据类型进行自动转换,甚至还会针对不同数据库特性完成自动替换,遗憾的是,pgloader无法支持从源端到目标端的增量复制,也就是说无法用于生产环境的割接中。但pgloader的出现,使得PostgreSQL开发人员可以十分方便的进行数据库迁移转换,对于在新项目中由于功能及开放性需求要使用PostgreSQL的业务来说,pgloader依然是数据迁移的绝佳利器。

二、工作原理

pgloader是PostgreSQL的一个数据加载工具,使用COPY命令。pgloader v1 是 Tcl 写的,pgloader v2 是 Python 写的,pgloader v3 是 Common Lisp 写的。

三、安装

3.1、安装依赖包

yum install unzip libsqlite3-dev make curl gawk freetds-dev freetds libzip-dev

# 需要安装sbcl;且版本>=1.2.5 http://www.sbcl.org/getting.html

wget https://sourceforge.net/projects/sbcl/files/sbcl/1.5.2/sbcl-1.5.2-x86-64-linux-binary.tar.bz2

bzip2 -cd sbcl-1.5.2-x86-64-linux-binary.tar.bz2 | tar xvf -

cd sbcl-1.5.2-x86-64-linux

./install.sh

ln -s /usr/local/bin/sbcl /usr/bin/sbcl

3.2、安装pgloader

cd /path/to/pgloader

make pgloader

./build/bin/pgloader --help

四、命令语法

LOAD

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值