深度学习视觉项目工程实现步骤

深度学习视觉项目工程实现步骤

设计数据集
		注意问题：类别不均衡
				  目标小
				  噪音干扰大
				  遮挡
				  目标类间距离大
选择优化器
		注意问题：使用那种优化器
				  SGD+Momentum
				  Adam
				  RMSprop
				  adablta
模型集成
		数据增强
		随机初始化权值改为固定值
		多个预训练模型得到结果投票最高分
模型量化
		剪枝和量化
		剪枝具体流程
		   network
		     |
			 evaluate importance of neurons
			 |
			 remove the least important neuron
			 |
			 fine-turning
			 |
			 continue pruning
			 |
			 evaluate importance of neurons
			 |
			 stop pruning
			方法一：删除网络中贡献度低下的神经元
			根据神经元权值的L1/L2均值进行平均激活
			在验证集合上神经元不为零的次数及其他创造性方法来排序实现压缩模型
			方法二：放弃某些卷积滤波器。
			针对每个神经元进行排序然后使用每个滤波器权值的L1范数找到全部最低
			排名滤波器删除后重复训练。