数据预处理、特征工程

神经网络的数据预处理

        数据预处理的目的是使原始数据更适合用于神经网络处理，包括向量化、标准化、处理缺失值和特征提取。

1.向量化

        神经网络的所有输入和目标都必须是浮点数张量（在特定情况下可以是整数张量）无论处理什么数据都必须将其转化为张量，这一步叫做数据向量化。

2.值标准化

        我们在手写数字识别的例子中，开始时图像数据被编码为0-255范围内的整数，这表示图像的灰度值，将这些数据输入到网络之前，我们需要将其转换为float32格式并除以255，这样就得到0-1内的浮点数。一般来说，将取值相对较大的数据（比如多位数，比网络权重的初始值大很多）或异质数据，输入到网络中是不安全的。这么做可能导致较大的梯度更新，进而导致较大的梯度更新，进而导致网络无法收敛。当然我们输入的数据应当具有以下特征：

        取值较小：大部份值都应该在0-1范围内

        同质性：所有特征的取值都应该在大致相同的范围内，此外下面这种更严格的标准化方法也很常见 而且很有用。

                        将每个特征分别标准化，使其平均值为0

                        将每个特征分别标准化，使其标准差为1

3.处理缺失值

          数据中可能会有缺失值，如果不是所有样本都具有这个特征的话，那么该怎么办？一般来说，对于神经网络，将缺失值设置为0是最安全的，只要0不是一个有意义的值。网络就能够从数据中学到0意味着缺失数据，并忽略这个值。

        当然，如果数据中可能含有缺失值，而网络是在没有缺失值的数据上训练的，那么网络不可能学会忽略这个缺失值，在这种情况下，应当人为生成一些缺失值的训练样本，多次复制一些训练样本，然后删除测试数据中可能缺失的某些特征。

特征工程

        特征工程是指将数据输入到模型之前，利用你自己关于数据和机器学习算法的知识对数据进行硬编码的变换，以改善模型的效果。多数情况下，一个机器学习模型无法从完全任意的数据中进行学习，呈现给模型的数据应该便于模型的学习。

        特征工程的本质：用更简单的方式表示问题，从而使问题变得更加简单。在深度学习出现之前，特征工程曾非常重要，因为简单的浅层算法没有足够大的假设空间来学习自己有用的表示；将数据呈现给算法的方式对解决问题是至关重要的。幸运的是现代的深度学习，大部分的特征工程是不需要的。因为神经网络可以从原始数据中提取相应的有用特征，但是并不能因为有了深度学习网络，而忽略特征工程！