UFLDL学习笔记3——Softmax Regression

softmax regression是logistic regression的推广，处理k-分类问题。类似于logistic regression，由最大似然估计可得到cost function，然后再求关于$\theta$的梯度时会发现形式上和linear regression时一样。这不是偶然，PRML书中4.3.6节有谈到这个问题：

This is a general result of assuming a conditional distribution for the target variable from the exponential family, along with a corresponding choice for the activation function known as the canonical link function.
这里先挖一个坑。

如果利用matlab的vectorization features，tutorial里面给了提示。主要是两个函数sub2ind(size,row,col)和bsxfun(f,A,B)。sub2ind(size,rol,col)在从矩阵中抽取一些下标无规律的元素时比较给力，注意它返回的是抽取元素在矩阵中的编号；bsxfun(f,A,B)则在批处理时比较给力，如对A的每一行做不同的处理等。
理清矩阵操作还是挺繁琐的，试着写了下面的程序，我的电脑是跑不了，找个给力点的电脑跑跑再改错。

% theta is a vector;  need to reshape to n x num_classes.
  theta=reshape(theta, n, []);
  num_classes=size(theta,2)+1;
  theta(:,num_classes) = 0;
%%% YOUR CODE HERE %%%
  h = bsxfun(@rdivide,exp(theta'*X),sum(exp(theta'*X)));
  I = sub2ind(size(h),y,1:size(h,2));
  f_bar = -log(h);
  f = sum(f_bar(I));

  h(I) = h(I) - 1;
  g = -X*(-h');
  g(:,num_classes)=[];
  g=g(:); % make gradient a vector for minFunc