python实现批量将mysql数据导入postgis空间库中（Postgre入门七）

GIS从业者

已于 2022-12-27 17:36:16 修改

阅读量320

点赞数

分类专栏： PostGIS、Mysql、Sqlserver 文章标签： python mysql 数据库

于 2022-12-27 17:30:06 首次发布

本文链接：https://blog.csdn.net/yilvyangguang520/article/details/128459013

版权

PostGIS、Mysql、Sqlserver 专栏收录该内容

17 篇文章 7 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何使用Python将包含经纬度坐标的MySQL poi数据高效地批量导入到PostGIS空间数据库中，涉及设置配置、数据准备及Python脚本的使用。

摘要由CSDN通过智能技术生成

效果
在这里插入图片描述

1、准备mysql数据

测试数据是一个poi数据表，带有84经纬度坐标
在这里插入图片描述

2、python批量导入

settings.py

## postgis数据库名
dbname_PG="spiders"

## mysql数据库名
dbname_MS="spiders"

## mysql数据库表名称
tablenames

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

GIS从业者

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Python实现批量将MySQL数据导入PostGIS空间库中

MXMIMM的博客

09-14

在本文中，我们将介绍如何使用Python将MySQL数据库中的数据批量导入到PostGIS空间数据库中。至此，我们完成了将MySQL数据批量导入PostGIS空间库的整个过程。接下来，我们需要建立MySQL和PostgreSQL数据库的连接。现在，我们需要从MySQL数据库中获取要导入的数据。接下来，我们需要创建一个PostGIS表来存储导入的数据。现在，我们可以循环遍历MySQL查询结果，并将每条记录插入到PostGIS表中。一旦我们安装好了所需的库，我们可以开始编写Python代码。

PostgreSQL父子建表查询所有的子数据-利用自定义函数查询

洛阳泰山的博客

08-19

1925

PostgreSQL是一种开源的对象关系型数据库管理系统（ORDBMS），因其可靠性、可扩展性和功能丰富性而备受推崇。它支持广泛的数据类型，具有高级事务处理能力，并提供了丰富的特性和扩展性选项。

参与评论您还未登录，请先登录后发表或查看评论

python批量插入数据到postgres

zsx18273117003的博客

05-28

1374

一、python脚本 #!/usr/bin/python # -*- coding: UTF-8 -*- import string import psycopg2 import random from psycopg2 import extras address_list = {'北京', '上海', '深圳', '广州', '长沙', '成都', '吉林', '邵阳', '九江', '长春', '拉萨'} conn = psycopg2.connect(database="test", u.

MySQL数据表结构迁移到Postgre的Python脚本

Lenjor 的博客

06-02

830

文章目录前言程序代码main.pytemplateObject.pycolType.pywrite_table_ddl测试前言工作中遇到了需要把MySQL换成Postgre的需求，数据表需要做迁移，手动修改每一张表工作量比较大，因而写了一个简单的python脚本来完成这件事情。程序的原理是类型转换，字符串替换，没有完成的事情是自增ID会丢失，并没有创建Serial序列来实现自增ID，因为我们的框架中的雪花ID本身就实现了自增 MySQL和Postgre的数据类型映射关系：https://en.wiki

mysql和pg等数据库之间的数据迁移实战分享

最新发布

nandao158的博客

09-02

1926

mysql和pg等数据库之间的数据迁移是常见的问题：比如一开始使用Oracle，后来想使用mysql，而且需要把Oracle数据库的数据迁移到mysql里面；后期有想使用pg数据库，同时需要把Mysql数据库的数据迁移到pgl里面，等等诸如此类数据迁移，都是一个重要问题。基于此，我们今天分享mysql数据迁移到pg数据库的案例。自定义选择或者选择全部数据，再点击下一步，就可以开始传输数据了，如果有错误，有日志实时打印。到此，不同数据库之间的数据迁移暂时分享完成，后面我们会持续更新更新的迁移方案，敬请期待！

python 构建来源gis_Python访问PostGIS(建表、空间索引、分区表)

weixin_39946500的博客

11-25

227

#encoding: utf-8__author__ = 'Administrator'import psycopg2import ppygisimport datetimeimport stringimport sysimport loggingimport GeowayLoggerreload(sys)#中文错误sys.setdefaultencoding( "utf-8" )vLog = G...

python连接数据库的技术_python连接PostgreSQL数据库的过程详解

weixin_39629989的博客

11-28

157

python连接PostgreSQL数据库的过程详解发布时间：2020-08-22 19:28:25来源：脚本之家阅读：86作者：郭雪原1. 常用模块# 连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123 = {'user':'emma','port':123,'host':'192.168.1.123','password':'emma',...

python从postgis获取数据写入本地（Postgre入门四）

yilvyangguang520的博客

11-14

510

python从postgis获取数据写入本地（Postgre入门四）

什么是PostgreSQL？跟MySQL、Oracle比强在哪？

大数据

10-29

2487

导读：本文主要给大家介绍什么是PostgreSQL数据库、PostgreSQL有哪些强大的功能及其目前的一些应用情况，以便大家对PostgreSQL有一个初步的认识。作者：唐成来源：大数...

MySQL与PostgreSQL对比

热门推荐

悟已往之不谏，知来者之可追

02-18

2万+

网上已经有很多拿PostgreSQL与MySQL比较的文章了，这篇文章只是对一些重要的信息进行下梳理。在开始分析前，先来看下这两张图： MySQL MySQL声称自己是最流行的开源数据库。LAMP中的M指的就是MySQL。构建在LAMP上的应用都会使用MySQL，如WordPress、Drupal等大多数php开源程序。MySQL最初是由MySQL AB开发的，然后在2008年以10亿美金的价...

python 批量插入数据到postgreSql

lin49940的专栏

05-05

1万+

开源的关系型数据库, mysql 和 postgreSql 都有很久的历史, 应用也很广泛了，今天有机会接触postgreSql11。 python 连接postgreSql 数据库，用的驱动工具是psycopg2。官方文档地址：http://initd.org/psycopg/docs/ 操纵插入3000w 条记录发现用单条插入的速度很慢，必须用批量插入的方法了。啃了一遍官方文档，...

使用python实现mysql测试数据的准备(大批量导入数据)

C221017的博客

02-07

434

使用python实现mysql大量数据的导入

Spring 5 中文解析数据存储篇-JDBC数据存储(下)

liyong1028826685的专栏

09-28

407

3.7 作为Java对象JDBC操作模型 org.springframework.jdbc.object包包含一些类，这些类使你以更加面向对象的方式访问数据库。例如，你可以运行查询并将结果作为包含业务对象的列表返回，该业务对象的关联列数据映射到业务对象的属性。你还可以运行存储过程并运行update，delete和insert语句。许多Spring开发人员认为，下面描述的各种RDBMS操作类（StoredProcedure类除外）通常可以用直接的JdbcTemplate调用代替。通常，编写直接在JdbcT

python连接postgis_python连接postgres方法

weixin_36212135的博客

01-14

637

Python使用PyGreSQL操作PostgreSQL：import pgdef operate_postgre_tbl_product(): try:#db= pg.connect(dbname = "postgres", host = "192.168.1.200", user = "postgres", passwd = "postgres") 方法一db= pg.connect("hos...

python链接池和pymysql批量入库——从0实现大规模异步爬虫框架项目4

paycho的博客

01-29

1057

从0实现大规模异步爬虫框架项目-----python链接池和pymysql批量入库. python做数据库链接池，支持批量插入和查询，基于PooledDB代码封装,并且简化了开发人员的操作。

Python操作MySQL、PostgreSQL关系型数据库

范高伦的博客

08-21

914

1.Python操作mysql关系型数据库MySQL 是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。MySQL是一种关系数据库管理系统，关...

MySQL数据全量导入PG的方法

bingluo8787的博客

09-06

1137

下面会用到一个perl脚本来做数据格式的转换： https://github.com/ahammond/mysql2pgsql1 导出mysql的数据#导出结构 mysqldumpbx_cmdb_37--master-data=2--skip-opt--default-character-set=utf8--no-data--compact--skip-du...

Python连接MySQL、PostgreSQL数据库（简单便捷）

回忆式~过去.的博客

09-06

8426

Python连接MySQL、PostgreSQL数据库需要导入相关的模块，分别是”pymysql“和”psycopg2“模块，我们可以在Pycharm工具中直接搜索安装对应的库然后导入即可，两个数据库连接方式基本一致，所以只拿其中一个作为演示。

python百万级数据批量插入postgreSQL数据库 copy_from()执行效率完胜executemany()和to_sql()方法

skye1208的博客

05-16

1万+

1.查询数据库中数据表是否存在，不存在则创建 import psycopg2 conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***) cur = conn.cursor() try: cur.execute("select to_regclass(" + "\'" + table...