折腾了两天,总算实现了用MNIST数据集的稀疏自编码器训练。发现了以下问题:
1,matlab编程所写代码不能太奢侈。定义变量时要尽量节省内存资源,向量能解决的不要用方阵,int8类型能解决的不要用双精度数;
2,UFLDL提供的minFunc函数有问题,样本数再少都会溢出,换为第一单元建议的另外一个函数,fminlbgs.m可以避免内存溢出问题,而且用随机选取的10000个手写数字训练能得到正确结果(与网站提供图片一致)。
3,优化过程中真正的内存消耗,大头不是样本数,而是参数个数。10000个样本,双精度数时占内存不过60多兆,而30万个参数,保留几个副本,普通机器真是相形见拙,令人灰心。不过从中悟出一些道理,也算值了。
4,我把用MNIST数据集训练稀疏自编码器程序打包上传,希望能对感兴趣的人有所帮助。