机器学习(深度学习)优化策略
优化策略(总)
一个系统从开发出来到实际的应用需要层层的优化,对于一个机器学习或者深度学习系统,我们需要进行怎样的优化,这篇博客可以提供给你一些思路。资源来自于(吴恩达《深度学习》+《设计模式原理》+一些最新的深度学习领域论文文献)
id | ideas |
---|---|
1 | 搜集更多的数据 |
2 | 搜集更多样的数据(场景、姿势) |
3 | 用梯度下降算法训练的更久一点 |
4 | 用不同的优化算法(adam优化算法等) |
5 | 尝试规模更大或者更小的神经网络 |
6 | 尝试正则化或者dropout |
7 | 修改网络架构(激活函数、改变隐藏层的单元数目) |
8 | … |
有的项目组可能花很长时间去优化其中的某一项或几项,但最后反而可能会降低模型的准确度。如何进行模型的优化以达到我们想要的想过是这篇博客主要讨论的问题。
1.正交化
例如汽车的案例,汽车的有3个按钮,一个方向盘,一个油门,一个刹车。而