深度学习之激活函数

深度学习之激活函数

---

线性模型的缺点

线性模型只能用一条线进行分类，很多情况下分类效果不明显。例如疑惑问题。见下图。无法用一条直线将图中的蓝色点和黄色点分开。那么我们该如何解决呢？

映射到新的空间

对于上述问题，我们可不可以把图中的四个点映射到一个新的空间中，使其在新的空间中可以用线性模型去解决呢？见下图：

我们将(0,0)-> (0,0),(0,1) -> (1,0),(1,0) -> (1,0),(1,1) -> (2,1)。经过映射，我们就可以用一条直线来分割刚才的问题。
那么问题来了如何找到这样的映射呢？？？

感知机模型

感知机模型的本质是线性回归
f = w1x1 + w2x2 + b

因此我们可以不可以加一个映射层，先使原数据映射到映射层，然后再在映射层上进行线性分割。见下图：

我们加了一个h层，希望通过h层我们可以改变原来的线性模型。
此时：
f = w1h1 + w2h2 + b
h1 = w11x1 + w21x2 + c1
h2 = w12x1 + w22x2 + c2
将h1,h2带入原式你会发现还是一个线性模型，还是无法解决问题。
f = ( )x1 + ( )x2 + b
因此单纯的加一个h层无法解决问题。

激活函数

上面说到单纯的h层无法解决问题，所有此时我们就需要用到激活函数，激活函数是一个非线性函数。通常有“S”型函数，ReLU函数等。
现在：h = g(wx + b), 其中g为激活函数。
这样我们就可以解决上述问题。

总结

激活函数就是可以将线性问题转化为非线性问题，方便我们更好的解决问题。