文章目录
Classification & Regression
分类和回归是数据分析问题中特别常见的两类问题。
softmax函数
当有两个class时,直接用sigmoid函数就可。其数学形式:
f
(
x
)
=
1
1
+
e
−
x
f(x) = \frac{1}{1+e^{-x}}
f(x)=1+e−x1
Loss of Classification
Minimizing cross-entropy is equivalent to maximizing likelihood.
Cross-entropy的形式:
e
=
−
∑
i
y
i
^
l
n
y
i
′
e=-\sum_i\hat{y_i}lny_i'
e=−∑iyi^lnyi′
MSE vs Cross-entropy
也就是说,在优化的时候,MSE在左上角loss很大的时候,gradient太小,很有可能导致train失败。
Batch Normalization
上面这张图就是在说,我们想让对于不同维度的输入
x
x
x,其
w
w
w有相同的范围,这样就引出了feature normalization,下面讲其中一个方法(就是常见的标准化):
Batch normalization -Testing
在testing的时候,可以直接利用traing得到的
σ
\sigma
σ和
μ
\mu
μ
CNN for image
每个neuron只关心自己的receptive field(大小自己定)
上面的图片提到了几个基本概念:
kernel size、stride、padding、channel
共享的参数其实就是filter。
Each filter convolves over the input image.
Therefore, this network is called CNN.(convolutional)
下采样和池化是包含关系,池化属于下采样,而下采样不局限于池化。
playing go
把棋盘看作19*19的图片,预测下一步棋子落在哪里最好。48 channels?
AlphaGo的网络架构:
Alpha Go是没有使用pooling的。