特征共线性与神经网络

       在线性回归中，多重共线性会导致高度相关的变量的估计值的标准差过大，即估计值的变动范围很大，因此影响结果的可靠性。另外，针对神经网络，如果输入数据中的变量存在共线性，会“浪费”有限的输入节点数目：即在只有一定数目的输入节点时，有共线性的变量包含了重复信息，因此把这些共线变量全部包含在输入节点中并不增加信息量，而原本这些被占用的节点可以分配给其他因子，因而说浪费了节点数目。
       神经网络的输入节点数目理论上并无上限，然而数据量会限制输入节点数目的取值。一般建议权重的数量在训练数据数量的五分之一以下，否则有过拟合的可能性（数据量->NN权重数量->输入节点数量）——如果权重数量相比数据量过大，那么神经网络可能会“记住”输入的训练数据，而非真正“训练”。过拟合的神经网络在训练集外的数据集上表现往往不佳，因此我们不希望权重数量过大。
       上证综指的数据自1991年起才有记录，日数据至今也就几千个数据点，数据量不大。权重数目由输入层、隐藏层、输出层节点数目共同决定，而且隐藏层的节点数与输入层的节点数正相关，因此输入层的节点数很大程度上影响了权重的数量。之前选定的全部因子，总数有七十多个，全部都使用的话，输入层节点起码有70个，而数千个数据点对于一个有70个输入层节点的神经网络来说，并不足够。因此必须处理共线性问题。