jianjian1992的专栏

softMax的cost写好之后，模型也就可以正式开始进行训练了。 首先要把softMaxExercise里边的Debug赋值为false，可以看到，梯度检验这一步在正式训练过程中是完全不需要做的。softMax模型softMax的模型是什么样的呢？ 假设一共有k个类，那么对于样本x(i)x^{(i)}，预测它属于第j类的概率如下 p(y=j|x(i))=eθTj∗x(i)∑kl=1θTl∗x

本次练习是按照ufldl SoftMax进行实现的。 关于代价函数的由来可以看看《统计学习方法》里边的logistic回归那一章，因为logistic模型是概率模型，所以会使用似然函数，优化也就是最大化似然函数，代价便是-log似然函数，最后的目标也就是最小化代价函数了。 不过由代价函数到它的导数这一部分的推导我开始没想明白，所以下面对此做个记录，看看到底是如何求导的。推导 J(θ)=−1m[

Step 0: Load data用文本方式打开pcaData.txt，看到的就是两行数据，每行有45个值。 不加’-ascii’,直接写出x=load(‘pcaData.txt’)也是ok 的！ figure(1)表明建立第一幅图像，在需要显示很多图像的时候就需要用到这一句了。 scatter则是画图函数，这里的x轴数据为x的第一行数据x(1,:),y轴数据为x的第二行数据x(2,:)。

版本说明： caffe为windows版本，vs对应的是2012版本，我是用生成exe+windows批处理的方式来使用caffe的。 已经配置好的caffe可见http://pan.baidu.com/s/1gf0iTKB 使用的并不是最新版的caffe，不过在windows下算是很新的啦。数据生成首先生成训练和测试目录，我是以人脸的CMU数据库为例进行说明。下面的名字可以根据自己需要进行修