DATAX改造支持geometry类型数据同步

文章讲述了如何在安装了PostgreSQL和PostGIS插件的环境中,使用DataX进行空间数据同步,包括下载并替换DataX引擎的reader和writer模块,以及配置数据同步的具体步骤。
摘要由CSDN通过智能技术生成

数据库使用postgresql安装了postgis插件存储了geometry空间数据,想使用datax做数据同步,但datax本身不支持geometry类型数据,如何改造呢?

1.首先下载已改造支持geometry类型的datax引擎,下载地址

https://download.csdn.net/download/letterss/88799803

 2.将下载的datax引擎解压,将plugin里面reader模块的postgresqlreader和wrtier模块的postgresqlwriter分别替换自己的引擎模块即可,如果只使用postgresql数据库,则不用替换直接使用下载的引擎。

3.测试

新建了两张表my_table,my_table_copy1

CREATE TABLE my_table (id SERIAL PRIMARY KEY, geom GEOMETRY);

CREATE TABLE my_table_copy1(id SERIAL PRIMARY KEY, geom GEOMETRY);

向my_table添加数据

INSERT INTO my_table (geom) VALUES ('POINT(0 0)'); 

查询数据显示如下

 

使用datax同步,dataxjson如下

{
	"job": {
		"setting": {
			"speed": {
				"channel": "6",
				"byte": "12242880"
			},
			"errorLimit": {
				"record": "5",
				"percentage": "0.02"
			}
		},
		"content": [{
			"reader": {
				"name": "postgresqlreader",
				"parameter": {
					"username": "XVko54UY9nOe/3JQGQUikw==",
					"password": "fMaKElymbiVDjjwluBXyhA==",
					"column": ["\"id\"", "\"geom\""],
					"splitPk": "",
					"connection": [{
						"table": ["public.my_table"],
						"jdbcUrl": ["jdbc:postgresql://localhost:5432/postgres"]
					}]
				}
			},
			"writer": {
				"name": "postgresqlwriter",
				"parameter": {
					"username": "XVko54UY9nOe/3JQGQUikw==",
					"password": "fMaKElymbiVDjjwluBXyhA==",
					"column": ["\"id\"", "\"geom\""],
					"preSql": ["truncate table public.my_table_copy1"],
					"connection": [{
						"table": ["public.my_table_copy1"],
						"jdbcUrl": "jdbc:postgresql://localhost:5432/postgres"
					}]
				}
			},
			"transformer": []
		}]
	}
}

 同步成功,可以看到my_table_copy1 geom字段也有数据了,且数据一致

  • 7
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

今朝花落悲颜色

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值