Pandas将NaN转换为None 插入数据库

往mysql数据库插入数据时，不能插入nan空值，否则报错 nan can't be used with mysql。

而Pandas读取excel表中的空值就是以nan表示，所以在以pandas方式读取excel数据后需要对nan值进行处理。处理后转为np.narry格式，再转为列表，再进行插入，最后提交事务。

Pandas的nan空值的处理

方法一：

以None形式的空值替换NaN形式的空值

import pandas as pd

df = pd.read_excel('data.xlsx')

# 保留非空值，以None空值的形式替换Nan空值
# df = df.where(df.notnull(), None) # 无效
df.replace(np.nan, None, inplace=True)
# 或者
df = df.replace(np.nan, None)

#取值，以np.ndarry的形式转为列表
data = df.values.tolist()

# 插入数据库并提交事务
sql = 'insert into 表名 (字段1,字段2,字段3) values(%s,%s,%s)' 
cur.executemany(sql,data)
conn.commit()

方法二：

常用的空值处理函数fillna，是以非空值比如数字0或字符串来替换了Nan空值。以字符串None替换了Nan空值。

import pandas as pd

df = pd.read_excel('data.xlsx')

#以字符串'None'的形式替换空值（如果是需要进行计算的字段，将字符串换为0，或前值，均值等）
df = df.fillna(value='None')
# df.fillna(value='None', inplace = True)
# df = df.fillna(value=None)  #报错，value不能直接=None

#取值，以np.ndarry的形式转为列表
data = df.values.tolist()

# 插入数据库并提交事务
sql = 'insert into 表名 (字段1,字段2,字段3) values(%s,%s,%s)' 
cur.executemany(sql,data[1:])
conn.commit()

此方法仅能用于字符串型数据表 。以字符串如'' 替换Nan，当数据库表的列是数值型时报错，

2024.3.29 更新