《深度学习》学习笔记（三）

Classification & Regression

分类和回归是数据分析问题中特别常见的两类问题。

softmax函数

当有两个class时，直接用sigmoid函数就可。其数学形式：$f(x)=\frac{1}{1+e^{-x}}$

Loss of Classification

Minimizing cross-entropy is equivalent to maximizing likelihood.
Cross-entropy的形式：$e=-{\sum }_i\widehat{y_i}ln{y}_i^{\prime }$
MSE vs Cross-entropy

也就是说，在优化的时候，MSE在左上角loss很大的时候，gradient太小，很有可能导致train失败。

Batch Normalization

上面这张图就是在说，我们想让对于不同维度的输入$x$，其$w$有相同的范围，这样就引出了feature normalization，下面讲其中一个方法（就是常见的标准化）：

Batch normalization -Testing

在testing的时候，可以直接利用traing得到的$\sigma$和$\mu$

CNN for image

每个neuron只关心自己的receptive field（大小自己定）


上面的图片提到了几个基本概念：
kernel size、stride、padding、channel



共享的参数其实就是filter。
Each filter convolves over the input image.
Therefore, this network is called CNN.(convolutional)

下采样和池化是包含关系，池化属于下采样，而下采样不局限于池化。

playing go

把棋盘看作19*19的图片，预测下一步棋子落在哪里最好。48 channels？

AlphaGo的网络架构：

Alpha Go是没有使用pooling的。