Pandas read_csv()处理缺失值

在pandas读入数据，需要注意read_csv()的参数dtype和engine，定义dtype为str后，如果系统默认，engine=‘c’，那null缺失值会是float型，而不是str型。

需要将engine='python',这样读入的数据就都是str型的。

NaN 是一种特殊的浮点数,不是整数、字符串以及其他数据类型。

Pandas 会将没有标签值的数据类型自动转换为 NA。例如,当我们将整型数组中的一个值设置为 np.nan 时,这个值就会强制转换成浮点数缺失值 NA。

Pandas对不同类型缺失值的转换规则

>>> a = pd.Series([1, np.nan, 2, None])
>>> a == np.nan
0    False
1    False
2    False
3    False
dtype: bool

转换之后无法使用np.nan表示，np.nan和None被强制转换为float浮点型缺失值

目前，觉得最好的方法是：

dfoff = pd.read_csv(r'data/ccf_offline_stage1_train.csv', keep_default_na=False)

na_values : scalar, str, list-like, or dict, default None

Additional strings to recognize as NA/NaN. If dict passed, specific per-column NA values. By default the following values are interpreted as NaN: ‘’, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1.#IND’, ‘-1.#QNAN’, ‘-NaN’, ‘-nan’, ‘1.#IND’, ‘1.#QNAN’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘n/a’, ‘nan’, ‘null’.

直接把空值替换，不会改变原始数据的数据类型