编码时稀疏性和有序性为什么重要

1、稀疏性的重要性，暂时只理解到以下几点：

1）稀疏性有利于突出重点

2）人脑神经的激活是稀疏的

3）稀疏性减少了信息量，有利于增加记忆量

4）稀疏的特征更加线性可分

5）计算量减小

6）属于一种正则化，减少了过拟合（不限制的话，一个输入有无数种编码可能）

2、特征排列有序指的是：相似的输入（图像等）应该激活相邻的神经元。重要性：

1）如果输出特征虽然是稀疏的，却并不平滑，不利于学习

2）输出的编码能体现相互之间的相关性，对于分类器等有更好的作用

3）通过局部归类强制输出的编码有序，避免刻意拟合数据，减少过拟合