Pandas to_sql 函数避坑指南「mssql字符乱码」

最新推荐文章于 2023-07-04 15:32:49 发布

zzzzls~

最新推荐文章于 2023-07-04 15:32:49 发布

阅读量1.4k

点赞数

分类专栏： bug小记经验分享文章标签： pandas sql sqlserver

本文链接：https://blog.csdn.net/qq_36078992/article/details/127773143

版权

经验分享同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

bug小记

7 篇文章 0 订阅

订阅专栏

上篇: Pandas to_sql 函数避坑指南「附可运行正确代码」

使用 pandas to_sql 方法导出数据到 SQL Server 2016，发现一些特殊符号存在乱码，如下：
在这里插入图片描述

查看 pandas 生成的表结构，发现其采用 text 类型，该类型仅支持存储非Unicode数据, 对于一些 Unicode数据(如表情包) 就不适用了!

ntext、text 和 image (Transact-SQL)

在这里插入图片描述

明白原因事情就好办了, 通过 to_sql 函数的 dtype 参数指定字段类型 (ntext / nvarchar), 成功解决问题!

在这里插入图片描述

完整代码如下：

import pyodbc
import pandas as pd
from sqlalchemy.types import NVARCHAR

from sqlalchemy import create_engine
from sqlalchemy.engine import URL as sqlalchem_URL
TestEngine = create_engine(sqlalchem_URL.create(
    drivername='mssql+pyodbc',
    username='***',
    password='***',
    host='***',
    database='***',
    query={
        "driver": "ODBC Driver 18 for SQL Server",
        "TrustServerCertificate": "yes"
    }
), fast_executemany=True)

data = [
    '中文', 
    '中文符号: ！￥……（）', 
    '特殊符号: m³ m² 卍♣⑧Φ', 
    '表情包: 😂❤️😁😘'
]

df = pd.DataFrame(data, columns=['name'])
df.to_sql('test22', con=TestEngine, index=False, dtype={"name": NVARCHAR()})