深度学习模型设计

深度学习模型设计

非线性特征

线性的特征空间是有限的，很难表示非线性的分布，变化越大越明显。而非线性特征学习在于很难学到特征，使其表现更好。

线性投影+非线性激活函数

尝试把线性特征拉到非线性空间，更深的网络描述更丰富的特征。

相比于传统分类

综上三点说明深度学习较比于传统分类效果较好。

模型设计

越深,越宽

设计怎么样的深度宽度的网络效果更好。

多分枝

一般来说，多分枝比单分支要好，但多分枝运行在低功耗的硬件上，运行要慢。

残差

保证学到的error更好的回传。

慎用激活函数

更多的非线性让数据分布更加的分散，拉到边缘无法聚集。

稀疏连接

达到一定的平衡，稀疏要素不会让模型变差，在速度上有很大的帮助。