深度学习点滴---处理技巧

1 关于数据的预处理

       插播一段，实际应用中，我们很多时候并不是把原始的像素矩阵作为输入，而是会预先做一些处理，比如说，有一个很重要的处理叫做『去均值』，他做的事情是对于训练集，我们求得所有图片像素矩阵的均值，作为中心，然后输入的图片先减掉这个均值，再做后续的操作。有时候我们甚至要对图片的幅度归一化/scaling。去均值是一个非常重要的步骤，原因我们在后续的梯度下降里会提到。

2、不同核方法分类结果比较

       常用的核函数有以下4种： 
          1. 线性核函数K(x,y)=x·y；
          2. 多项式核函数K(x,y)=[(x·y)+1]^d； 
          3. 径向基函数K(x,y)=exp(-|x-y|^2/d^2） 
          4. 二层神经网络核函数K(x,y)=tanh(a(x·y)+b）(S行核函数)

3、逻辑回归的目的是为了寻找非线性函数Sigmoid中的最佳拟合参数的权值w，w是通过梯度上升法来学到的。随机梯度上升一次只能处理少量的样本，因而节约了大量资源的同时也可以在线学习 。