学习回顾（8.19）

一个月来的学习回顾

从开始准备到今天差不多一个月过去了，对照一下大神们给的意见，来逐条回顾一下自己的学习情况。

先选择方向： 目标检测 分割 视频
A.方向的重要论文 要了解

USC的philkr（http://www.philkr.net/）的还没看，Compressed Video Action Recognition这篇文章是讲视频的动作识别，还没看完。今明两天完成。

B.基础技能
1）代码 对于至少一个框架熟悉 用什么网络 网络效率

a.学习Keras框架：
Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端（backend）。
Keras有两种类型的模型，序贯模型（Sequential）和函数式模型（Model）。

网络层：
常用层（Core）：
Dense层（全连接层）、Activation层（激活层）、Dropout层、Flatten层等
卷积层（Convolutional）：
Conv2D层
池化层（Pooling）：
MaxPooling2D层、AveragePooling2D层
网络配置：
目标函数objectives：
mean_squared_error或mse
mean_absolute_error或mae
mean_absolute_percentage_error或mape
mean_squared_logarithmic_error或msle
squared_hinge
hinge
categorical_hinge
binary_crossentropy（亦称作对数损失，logloss）
logcosh
优化器optimizers：
SGD
RMSprop
Adagrad
Adadelta
Adam
Adamax
激活函数Activations：
softmax：对输入数据的最后一维进行softmax，输入数据应形如(nb_samples, nb_timesteps, nb_dims)或(nb_samples,nb_dims)
elu
selu: 可伸缩的指数线性单元（Scaled Exponential Linear Unit），参考Self-Normalizing Neural Networks
softplus
softsign
relu
tanh
sigmoid
hard_sigmoid
linear
性能评估：
binary_accuracy: 对二分类问题,计算在所有预测值上的平均正确率
categorical_accuracy:对多分类问题,计算再所有预测值上的平均正确率
sparse_categorical_accuracy:与categorical_accuracy相同,在对稀疏的目标值预测时有用
top_k_categorical_accracy: 计算top-k正确率,当预测值的前k个值中存在目标类别即认为预测正确
sparse_top_k_categorical_accuracy：与top_k_categorical_accracy作用相同，但适用于稀疏情况

b.网络：
搭建了最简单的LeNet，进行了MNIST数据集的训练分类。
网络效率尚不清楚。

2）数学

bp ：

后向传播算法，伪代码书写、公式推导已熟悉，待强化。

loss 不同的loss及其意义：

接触到的loss：回归中的最小二乘、分类中的交叉熵
其他loss有待了解。

Bp 具体实现 ：

待了解

全链接层

作用：将学到的特征映射到样本分类空间。

卷积层

作用：获取图像区域不同类型的特征

池化层

作用：对特征进行融合和抽象

感受野计算

感受野(receptive field，RF)的定义是 卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。

                RF = 1 #待计算的feature map上的感受野大小
                for layer in （top layer To down layer）:
            　　RF = ((RF -1)* stride) + fsize

stride 表示卷积的步长； fsize表示卷积层滤波器的大小　

batch 为什么可以提高收敛速度

例如将训练数据随机分为8个batch，那么每轮（epoch）训练，会做8次梯度下降，更新8次参数。而传统梯度下降是将所有样本梯度计算之后再更新一次参数。所以mini-batch会提高收敛速度。

dropout 为什么可以防止过拟合

由于失活的神经元无法参与到网络训练，因此每次训练（前向操作和反向操作）时相当于面对一个全新的网络。以含有两层网络，每层有三个神经元的简单神经网络为例，若每层随机失活一个神经元，该网络共可产生9种子网络。根据上述随机失活原理，训练阶段相当于共训练了9个自网络，测试阶段则相当于9个自网络的平均集成（average ensemble）···对于提升网络泛化性效果显著。

基础数学 推导梯度下降法

待了解

C.拿得出手的 case

Reference：

像素分割的数据集：
pascalvoc
coco

经典论文
lenet
alexnet
resnet.
vgg.

目标检测

pytorch

目标检测 yolo fastrcnn fasterrcnn

路径：
A.进阶，过代码

1.先跑case，别人的code别人的数据

2.替换数据

3.数据，代码

B.面试前，过书