postgresql中导入shp或geojson

import geopandas as gpd
from sqlalchemy import create_engine

# 读取 Shapefile 文件   或   geojson 文件
gdf = gpd.read_file("E:/data/test/HQ_JD.shp")
# gdf = gpd.read_file("E:/data/test/DW_HLL.geojson")

# 建立数据库连接
engine = create_engine("postgresql://your_username:your_password@localhost:5432/your_database")

# 导入到数据库
gdf.to_postgis("HQ_JD", engine, if_exists="replace")

1.批量入库

import os
import geopandas as gpd
from sqlalchemy import create_engine

# 数据库连接
engine = create_engine("postgresql://your_username:your_password@localhost:5432/your_database")

# 文件夹路径
folder_path = "E:/data"

# 遍历文件夹中的所有 GeoJSON 文件
for filename in os.listdir(folder_path):
    if filename.endswith(".geojson"):  # 确保文件是 GeoJSON 格式
        file_path = os.path.join(folder_path, filename)

        # 读取 GeoJSON 文件
        gdf = gpd.read_file(file_path)

        # 构造表名，去除文件扩展名
        table_name = os.path.splitext(filename)[0]

        # 导入到 PostgreSQL 数据库
        gdf.to_postgis(table_name, engine, if_exists="replace")

2.shp入库会因为编码格式为乱码

import os
import geopandas as gpd
from sqlalchemy import create_engine

# 数据库连接
engine = create_engine("postgresql://postgres:wkun139@localhost:5432/postgres")

# 文件夹路径
folder_path = "E:/data/test"

# 遍历文件夹中的所有 Shapefile 文件
for filename in os.listdir(folder_path):
    if filename.endswith(".geojson"):  # 确保处理的是Shapefile文件或geojson文件
        file_path = os.path.join(folder_path, filename)

        # 尝试读取Shapefile文件，这里可能需要调整编码
        try:
            gdf = gpd.read_file(file_path, encoding='GBK')
        except UnicodeDecodeError:
            # 如果GBK编码失败，可以尝试其他编码或忽略错误
            gdf = gpd.read_file(file_path, encoding='UTF-8', errors='ignore')

        # 构造表名，去除文件扩展名
        table_name = os.path.splitext(filename)[0]

        # 导入到 PostgreSQL 数据库
        # GeoPandas在写入数据库时应自动处理编码问题
        gdf.to_postgis(table_name, engine, if_exists="replace")

print("运行完毕！！！")

3.json嵌套多层格式错误解决

"""
这通常发生在将含有嵌套结构的 JSON 数据导入到 PostgreSQL 数据库时。在这种情况下，GeoPandas 可能无法正确处理 JSON 字段，导致数据格式发生变化。
要解决这个问题，可以在将数据导入到 PostgreSQL 之前，对含有 JSON 的列进行适当的处理。可以使用 Python 的 json 库来确保 JSON 数据以正确的格式存储。
以下是修改后的代码示例：
"""
# json.dumps()用于将python对象转换为json字符串，返回转换后的json字符串

import geopandas as gpd
from sqlalchemy import create_engine
import json
import os


def import_file_to_postgis(file_path, db_url, table_name):
    # 读取 矢量 文件
    gdf = gpd.read_file(file_path)

    if os.path.splitext(file_path)[1].lower() in ['.json', '.geojson']:
        json_columns = ['style', 'options']
        existing_json_columns = [col for col in json_columns if col in gdf.columns]
        # 对每个 JSON 数据列应用 json.dumps 函数
        for col in existing_json_columns:
            gdf[col] = gdf[col].apply(json.dumps)

    # 建立数据库连接
    engine = create_engine(db_url)

    # 导入到数据库
    gdf.to_postgis(table_name, engine, if_exists="replace")


# 使用示例
shapefile_path = "E:/data/test/ce/python.json"
db_url = "postgresql://postgres:wkun139@localhost:5432/postgres"
table_name = "python"

import_file_to_postgis(shapefile_path, db_url, table_name)

"""
这里的关键步骤是使用 json.dumps 函数将 python 对象转换 为 JSON字符串。这样，在导入到数据库时，JSON 数据将被正确地作为字符串处理，从而避免了格式上的改变。
替换 'json_column' 为数据帧中实际包含 JSON 数据的列的名称。如果有多个这样的列，你需要对每个列重复这个处理过程。
"""

• 参考