邱锡鹏 神经网络与深度学习课程【五】——线性模型3和前馈神经网络1

感知器

感知器是最简单的神经网络 本质上也是线性分类 输出为+1/-1 为了之后的学习更加方便一些

 学习方式

 对于logistic回归更新 logistic 更新都是每一次更新 而感知器更新只是当预测错误的时候才进行更新 并且更新的数值也不一样

 感知器更新 如果是正的 则同方向走相同的距离，如果是负的，则反方向走相同的距离 不断更新就可以更新获取边界 具有收敛性

  

 支持向量机 SVM

找到一个边界 使得正负样本到边界的最小距离最大化 起初的方程具有多解 所以对w的模进行约束 是的w的模乘上r 等于1

 线性分类模型小结

不同模型的对比

 不同损失函数的对比 平方损失不适合做分类问题

 线性模型只能处理线性问题，想要处理非线性问题，将非线性变换映射到更高维的空间 更高维的空间就变的 线性可分

前馈神经网络

神经网络

背景

 神经元

生物神经元

 人工神经元 通过了一个激活函数 a=f(z) 当z=1 时 激活 z=0时 抑制

激活函数的性质 最好单调递增 (不是必须要求) 梯度不能太大 太大连乘导致梯度爆炸 也不能太小 太小连乘导致梯度消失

 

 常见的激活函数

这两个是sigmoid函数

 ReLU函数 max(0,x) 死亡ReLU问题 所有的输出都在为0的一侧 没有办法挽救

Swish函数 logistic函数又称为 self-gate

 

 高斯误差线性单元 Gaussian Error Linear Unit GELU 与Swish数学性质很相似 P(X<= x)是一条累积分布函数

 小结

人工神经网络的搭建 激活规则指就是输入输出之间非线性的函数 学习算法一般为BP  但是 拓扑结构变化很灵活

 根据拓扑结构的不同，大体上分为三种类型，但是大多数网络都是复合型结构，即一个神经网络中包括多种网络结构 图网络更为复杂，应用的范围更广