神经网络的缺点:1.局部最优2.梯度弥散3.参数量指数级增长
神经网络的优点: 可以拟合任何非线性模型,实现分类,回归。基于梯度训练,方便编程实现扩展.
欠拟合:和答案差距大
过拟合:记住了答案
解决问题
卷积神经网络三大特性 局部链接 权值共享 池化
池化 :扩大感受野 层次特征
深度卷积网络:1.卷积层2.池化层3.全连接层4.辅助层:反卷积层 Batch Normalization层 Dropout层
卷积的类型 标准卷积 反卷积 空洞卷积 分组卷积 Pointwise卷积
常用的卷积神经网络 LeNet AlexNet ZFNet VGGNet GoogLeNet ResNet ResNeXt DenseNet SENet
网络压缩分文前端压缩和后端压缩
前端压缩 可逆的 都有知识蒸馏 更紧凑的网络结构
后端压缩 不可逆的 剪枝 量化 低秩近似