习题(推广的LVQ).
设竞争网络的底层为输入源节点,竞争层的神经元y和底层源节点j的连接权值为wyj。对于C类分类问题, 每个竞争神经元属于类别c的概率为
P(yÎc)=exp(acy)/(åcexp(acy)), c=1,2,…C.
那么输入向量x,它的属于类别c的概率为
P(xÎc)= åy P(yÎc)P(y|x), c=1,2,…C.
其中使用最简单的假设
P(y|x)= exp(-g ||wy-x||2)/(åyexp(-g ||wy-x||2)).
对于给定的标定数据集
(x1,c1), …., (xM,cM)
和未标定的数据集
xM+1, …, xN ,
我们分别假设它们的期望的类别分布为:
1) 对于标定数据,期望类别分布Q(xiÎci)=a; 当c¹ci , Q(xiÎc)=(1-a)/(C-1),显然a>1/C;
2) 对于未标定数据,期望的类别分布为Q(xiÎc)=1/C, c=1,2,…C。
那么,我们优化的目标就是关于权值wy和 acy对每个数据x的网络输出类别概率和期望类别分布概率的KL差最小化,即
Min åi åc Q(xiÎc) log[Q(xiÎc)/P(xiÎc)]
试推导上述推广的LVQ的学习算法,并实现推导的算法。
在MNIST(http://yann.lecun.com/exdb/mnist/)数据集中选择几类手写体数字进行模式分类的问题。讨论超参数g和a的取值对分类能力影响。
上面部分符号丢失,正确文档如下: