研一汇报第六周（2019.11.24）-未汇报，放假调整

第六周汇报：
汇报内容：
1、论文
2、cs231n 完结
3、tf2.0调整为pytorch，对接课题

论文：《Going Deeper with Convolutions》 Google Inc.
摘要：GoogLeNet, a 22 layers deep network, the quality of which is assessed in the context of classification and detection.

Inception 深层卷积神经网络架构

Introduction
物体检测方面的最大收获是来自深度学习框架和经典计算机视觉协同。
之所以在分类和检测方面提出GoogLeNet是由于深度学习和卷积网络的能力的迅速发展，以及硬件设备的更新支持。

15亿次计算使得它不仅只是学术研究，也可以应用于实际。

deep深度含义：层次加深和逻辑思路的提高。

Inception采用的1*1 卷积层，目的是降维模块，消除计算瓶颈。

面对的2个问题：多参数过拟合，计算量增大
解决方法：引入稀松性，随机失活。

Architectural Details
Inception体系结构的主要思想是考虑如何通过容易获得的密集组件来近似和覆盖卷积视觉网络的最佳局部稀疏结构。

Inception原始结构和降维结构。

GoogLeNet
The exact structure of the extra network on the side, in- cluding the auxiliary classifier, is as follows:
• An average pooling layer with 5×5 filter size and stride 3, resulting in an 4×4×512 output for the (4a), and 4×4×528 for the (4d) stage.
• A 1×1 convolution with 128 filters for dimension re- duction and rectified linear activation.
• A fully connected layer with 1024 units and rectified linear activation.
• A dropout layer with 70% ratio of dropped outputs.
• A linear layer with softmax loss as the classifier (pre- dicting the same 1000 classes as the main classifier, but removed at inference time).

ILSVRC 2014 Classification Challenge Setup and Results

ILSVRC 2014 Detection Challenge Setup and Results

使用边框回归器进行预训练。
表格4 多模型状态排名
表格5 单模型

In Table 5, we compare results using a single model only. The top performing model is by Deep Insight and surpris- ingly only improves by 0.3 points with an ensemble of 3 models while the GoogLeNet obtains significantly stronger results with the ensemble.

Conclusions
通过随时可用的密集构建块来预期的最佳稀疏结构是一种改善计算机视觉神经网络的方法。

cs231n完结
GANnet 生成对抗网络
将随机噪声输入到生成器网络。

Discriminiator NetWork 判别器网络

判别器的目的是最大化目标函数，也就是在thetad上取得最大值，这样一来，D(x)就接近1（real）

生成器最小化，目标函数，也就是让D(G(z))接近1

先训练判别器网络，再训练生成器网络。

GANs总结

GANs 不使用显示的密度函数，使用样本来隐式表达该函数，通过博弈论方法来训练。

强化学习
Markov Decision Process 【马可尔夫决策过程】
S:所有可能状态的集合
A：所有行动的集合
R：奖励的分布函数
P：下一个状态的转移概率分布
r:用来对近期奖励以及远期奖励分配权重

The optimal policy
最佳策略是能够最大化奖励总和对策略，即在任意确定状态下，我们应该采取什么行动来最大化我们将得到的奖励总和。

强制聚焦模式