首先放上学习链接——
10 多层感知机 + 代码实现 - 动手学深度学习v2_哔哩哔哩_bilibili
该章笔记:
一、最初的感知机
最初的感知机由基本线性回归模型组成
但是它只能作二分类,即输出0/1;或者说1/-1
与回归比较——回归输出实数
与softmax比较——输出概率
感知机是如何训练的?
关于感知机的收敛定理
(图源视频)
感知机的缺陷: 不能拟合XOR问题、只能产生线性分割面
二、多层感知机
相比最初的感知机,多层感知机使用了隐藏层和激活函数来得到线性模型
隐藏层大小是超参数
单隐藏层:
如果作的是单分类---
如果作的是多分类---
这里表示三个隐藏层,可以看出每一层隐藏层的计算的输入都是上一隐藏层的输出
对应的,如果是多分类(假设K类)的输出,那么:
最后总结一下激活函数:
一、sigmoid函数,它的取值范围是(0,1)
二、Tanh函数,它的取值范围是(-1,1)
用得比较少
三、ReLU函数,它的取值范围是max(x,0)
即最小是0、这个函数是最常用的、当不知道用什么的时候可以用这个。
总结:
- 之所以,ReLU函数用得最多,是因为它的计算比较方便,前两个函数都是指数运算,指数运算是很贵的。
- 多分类问题仍然是用softmax来处理