研一汇报第七周（2019.12.1）

本周汇报内容
1、论文
2、机器学习-吴恩达
3、下周计划

论文：《Deep Residual Learning for Image Recognition》
深度残差学习用于图像识别–微软-2015

参差训练深度152层，是VGG19的8倍。同时也拿到了ILSVRC & COCO 2015图像分类，目标检测的冠军
这篇文章的研究是在CIFIR-10 >100/1000层

深层次训练的错误率提高，也导致了测试数据时错误率的提升。
深度加深，会导致梯度爆炸/消失—SGD 【随机梯度下降】

参差学习过程：

机器学习-吴恩达


代价函数在干嘛？
在求最小的1/2 平方差和均值.

梯度下降
J（tant0,tant1）局部梯度最大/最小

梯度算法的正确使用：要对tant0,tant1参数同时更新！

多元线性回归
多元线性回归的梯度下降算法

特征缩放：将特征的取值约束到[-1，1],使用特征缩放使梯度下降更加高效。

下周计划：
1、机器学习4-9/19
2、论文《DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING》

3、pytorch学习2-3篇