初识pgloader

pgloader是什么

pgloader将各种来源的数据加载到PostgreSQL中。它可以即时转换读取的数据，并在加载之前和之后提交原始SQL。它使用COPY PostgreSQL协议将数据流式传输到服务器，并通过填充一对reject.dat和 reject.log文件来管理错误。

pgloader功能原理

pgloader具有两种操作模式：从文件加载数据，迁移数据库。在这两种情况下，pgloader都使用PostgreSQL COPY协议，该协议实现了流传输，以非常有效的方式发送数据。

pgloader支持的文件格式与数据库类型

载入CSV资料
加载固定的Cols文件格式
加载COPY格式的文件
加载DBF数据
加载IXF数据
从ZIP加载
将MySQL数据库迁移到PostgreSQL
将SQLite数据库迁移到PostgreSQL
将MS SQL数据库迁移到PostgreSQL
将PostgreSQL数据库迁移到PostgreSQL
将PostgreSQL数据库迁移到Citus
在pgloader中支持Redshift

个人总结

1、pgloader支持从csv,DBF,IXF,Cols,zip加载数据到pg中
2、pgloader支持MySQL,SQLite,MS SQL,PostgreSQL迁移数据到pg中，当然也支持PostgreSQL迁移到redshift中
3、pgloader使用PostgreSQL COPY协议，该协议实现了流传输.

个人疑惑

1、大数据量迁移的效率怎么样
2、特殊字符处理怎么样

pgloader参考资料

https://pgloader.readthedocs.io/en/latest/