Python 关于np.nan和None的区别和导入数据库的注意事项

工作中遇到这样的场景：

把数据从生产环境以csv导出来后，要手工导入测试环境的mysql数据库。直接在mysql里导数的话，如果数据量大会非常慢，而且不稳定。写一个python脚本自动导数是最方便的，但要满足几个需求：

1.csv格式导出来的数据，数据库里如果是空值会变成N。但在mysql里我希望它还是空值null；

2.导入mysql的数据，希望能保留两位小数。

1和2要结合起来看，其实就是替换'N‘的同时做一些数据处理，需要注意的是python里数据类型的问题。

思路是：1.先把N变为np.nan；2.将字段类型转为float做处理；3；把nan再转为None塞入数据库

 

这样做的原因是：

numpy和pandas能处理NaN，但是如果遇到None就会报错，所以在数据处理阶段用np.nan

None能够直接被导入数据库作为空值处理， 但包含NaN的数据导入时会报错。

 

导入数据的那些基本操作就不写了，主要的代码为

data.replace('N',np.nan,inplace=True)  #将N替换为np.nan，处理完后所有的N变为NaN了

formater="{0:.02f}".format
data['index_val'] = data['index_val'].astype('float').apply(formater) #字段改为float后保留两位小数
#注意如果这时候打印data，会发现index_val那一列的空值变为nan，其余列的空值还是NaN。d