PostGIS快速导入空间数据及最近邻要素查询
其实实现的就是两个功能,一个是导入坐标点数据,一个是为坐标点空间数据跨表找到它最近邻的要素,功能上说多难其实也不是很难,关键是摊上了一个数据量大的特点,为了尽可能地节省时间,光是数据导入方式我就研究了三种。
- 环境:centos7.1,Python3.5.2,Postgres10.3
- 处理器双E5,内存128G
PostGIS快速导入空间数据的方法
之前写过一篇“利用geopandas包对PostGIS数据库插入地理空间数据及性能对比”的博客,后来发现了更快的导入方法,没有使用geopandas包而是用的Postgres从文件直接导入数据库的copy功能,其实之前也看到过这个功能,但是没有深入了解,因为我当时担心copy功能无法将空间属性这一特点给完整地导入进去,现在出乎意料地发现Postgres真是功能强大,良心数据库。
1.准备数据
假设你的数据是以下格式的txt文件:
包括一个index列作为点的编号列,三个value属性列,以及lon和lat的经纬度列,使用逗号分隔。
首先需要将txt文件中的经纬度转换成如下文本(这里假设你的坐标系是4326的):
lon,lat ——>SRID=4326;POINT(lon lat)
2.导入数据库
这里可以使用的SQL语言,首先需要创建一个数据表:
CREATE TABLE {tablename}(
index bigint,
value1 bigint,
value2 bigint,
value3 bigint,
geom geometry(Point, 4326)
);
{tablename}是该表在数据库中的名称,作为参数传递。
然后使用copy功能导入数据库:
COPY {tablename} FROM '{path}'