数据预处理的重要性

今天在用softmax方法做老师给的数据时，一开始出现各种inf，NaN，头都大了，好在wu神给了我一个提点，数据太大了，每个都是好几千，求e的次幂很容易inf的，然后分之一是零，然后再做一下分母就成了NaN了，愚钝的我还是搞了好久才想到让数据直接除以10000化成比较小的数，毕竟能出结果了，然后观察代价函数的输出值，不断调整梯度下降法的步长参数，终于出了一个还不错的结果，尝到甜头的我又去网上搜了一下数据归一化，用了一种比较简单的线性归一化后，时间竟然大大减少了，由原来5分钟到20多秒，真happy啊！

数据的规范化和归一化真重要，softmax就不能让样本值太大，还有根据代价函数不断调整参数也很重要。