Python机器学习实战：如何用Pandas处理缺失值

机器学习实战：这里没有艰深晦涩的数学理论，我们将用简单的案例和大量的示例代码，向大家介绍机器学习的核心概念。我们的目标是教会大家用Python构建机器学习模型，解决现实世界的难题。

现实和教程最大的区别之一是，现实的数据集是混乱不堪的，数据科学家90%的时间都花在数据预处理上，其中就包括处理缺失值(missing values)。

Python做数据科学项目时通常用Pandas存储数据，所以我们重点讨论如何用Pandas处理缺失值。

1. 如何表示缺失值

用python处理数据主要通过numpy和pandas实现，所以首先要理解它们是如何表示缺失值的。

import pandas as pd
import numpy as np

Python用None表示缺失值，如果创建一个包含None的列表，是无法直接进行数值运算的，调用mean,sum等数值计算函数会引发’TypeError’.

l = [1, 2, None, 4]
l

[1, 2, None, 4]

创建一个包含None的numpy数组。

nums = np.array([1, 2, None, 4])
nums

array([1, 2, None, 4], dtype=object)

dtype=object，当数组包含None，numpy将数组的类型推断为’object’，即包含原生的python对象，同样无法进行数值运算。

try:
    np.sum(nums)
except Exception as e:
    print(e)

unsupported operand type(s) for +: 'int' and 'NoneType'

Numpy提供了一种特殊的数据类型，np.nan，表示缺失值，就本质上而言，它是浮点值。

arr = np.array([1, 2, np.nan, 4