CNN - 激活函数
首先明白函数的作用：增加模型的非线性表达能力
感谢: 蒋竺波：CNN入门讲解：什么是激活函数（Activation Function）
前提知识复习：
参考知乎：什么是「齐次」，「非齐次」，「线性」，「非线性」？ - 知乎
可加性：
f
(
x
1
+
x
2
)
=
f
(
x
1
)
+
f
(
x
2
)
f(x_1+x_2) = f(x_1) + f(x_2)
f(x1+x2)=f(x1)+f(x2)
齐次性：
f
(
k
x
1
)
=
k
f
(
x
1
)
f(kx_1) = kf(x_1)
f(kx1)=kf(x1) or
f
(
k
α
x
1
)
=
α
k
f
(
x
1
)
f(k^\alpha x_1) = \alpha kf(x_1)
f(kαx1)=αkf(x1)
线性：从字面上看“线性”就是“具有线的特性”，这里的“线”指的是直线
线性：
f
(
a
x
1
+
b
x
2
)
=
a
f
(
x
1
)
+
b
f
(
x
2
)
f(ax_1+bx_2) = af(x_1)+bf(x_2)
f(ax1+bx2)=af(x1)+bf(x2)，可加且齐次，eg:旋转、缩放
线性 具有可加性和齐次性
故：任意的线性函数都可以等价为一个单一线性函数
而，线性函数能把平面分为2部分，有分类的效果。
线性 设法解决 非线性 问题
现有一次线性函数: Y = W ∗ X + B Y=W*X+B Y=W∗X+B
No1：那么就可以用线性分割非线性(
y
=
a
x
2
+
b
y=ax^2+b
y=ax2+b)， 来解决非线性问题；
No2：用线性分割进行分类，eg：
分
类
结
果
=
{
0
y
<
0
1
y
>
0
分类结果=\begin{cases} 0 & y<0 \\ 1 & y>0\end{cases}
分类结果={01y<0y>0；
No3，error，没懂；
No4，反向传播，没懂
线性与激活函数的关系
- 函数是线性的，导数是常数
- 梯度与
x
x
x 无关(方向导数与梯度)
激活函数(Activation Function)
1. 阶跃函数
二分类 非线性 激活函数
f
(
x
)
=
{
0
y
<
0
1
y
>
0
f(x) = \begin{cases}0&y<0\\1&y>0\end{cases}
f(x)={01y<0y>0
2. sigmoid函数
σ ( x ) = 1 1 + e − x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+e−x1
3. tanh函数
tan
h
(
x
)
\tan h(x)
tanh(x)
对比sigmoid，这个可以输出负值
4. ReLU函数
max
(
0
,
x
)
\max(0, x)
max(0,x)
应用场景：输入值不能是非负数，对于图片格式，ReLU就挺常用的
参考1：数学公式输入
参考2：分段函数的大括号输入
扫一扫
9086
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
