深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning

这个主题我很喜欢，嘿嘿~
1. 无监督特征学习
用稀疏自编码器从大量无标注数据中学习好的特征描述。
2. 数据预处理
无监督特征学习前，要对数据进行预处理。 如均值标准化，PCA，PCA白化，ZCA白化。但是需要记录下训练时的参数，即均值和U，在后面训练时要使用相同的参数。
3. 无监督特征学习的术语
自学习：不要求无标注数据和已标注的数据来自相同的分布。比如可以用汽车图像提取的W，用于摩托车的特征提取。
半监督学习：要求无标注数据和已标注的数据来自相同的分布。即要提取摩托车的特征，只能用摩托车的图像学习。
4. 把学习到的特征（W*data+b)输入到Softmax中训练model，就可以进行分类啦。
5. 教程练习
（1） 读取MINIST（手写数字库），包括图片和labels，进行如下划分：
数字0~4的图片作为有标签数据（其中一半trainData用于训练softmax模型，另一半testData用于测试）
数字5~9的图片作为无标签数据(unlabeledData)，用于学习特征。
——自学习哦！
（2）程序结构
第一部分：训练
a. 把unlabeledData输入到稀疏自编码器，训练参数W1,b1。
b. 把trainData进行变换：W1*trainData+b1
得到提取的特征trainFeature.
c. 把trainFeature和对应label输入到softmax，得参数theta
现在稀疏自编码器和softmax模型都有了，下面就开始测试了!
第二部分：测试
a. 把testData进行变换：W1*testData+b1
得到提取的特征testFeature.
b. theta*testFeature，就可以进行预测了！
##后记
对稀疏自编码器提取特征的理解：在实验中能看到稀疏自编码得到的W1可视化后是一些笔画特征，有些地方称W1就是提取的特征。可以认为W1是从图像中提取出的基本组成部分，如这里的笔画；对于一个给定的图像从稀疏自编码中提取特征就是sigmoid(W1*inputData+b1)，即隐藏层的激活值——这才是给定图像提取出的特征，然后把此特征送入分类器进行分类。而图像提取出的特征的每一维都可以看成是W1这些基本特征的某个线性组合运用非线性激活函数激活后的结果。