深度学习模型设计
非线性特征
线性的特征空间是有限的,很难表示非线性的分布,变化越大越明显。而非线性特征学习在于很难学到特征,使其表现更好。
线性投影+非线性激活函数
尝试把线性特征拉到非线性空间,更深的网络描述更丰富的特征。
相比于传统分类
综上三点说明深度学习较比于传统分类效果较好。
模型设计
越深,越宽
设计怎么样的深度宽度的网络效果更好。
多分枝
一般来说,多分枝比单分支要好,但多分枝运行在低功耗的硬件上,运行要慢。
残差
保证学到的error更好的回传。
慎用激活函数
更多的非线性让数据分布更加的分散,拉到边缘无法聚集。
稀疏连接
达到一定的平衡,稀疏要素不会让模型变差,在速度上有很大的帮助。