前言
笔记笔记
目录
一、感知机
-
基础定义
- 给定输入 x ,权重 w 和 偏移 b 感知机输出:
- 只能做二分类的问题:可输出 1 和 -1 ,线性回归输出实数,softmax输出概率
- 给定输入 x ,权重 w 和 偏移 b 感知机输出:
二、训练感知机
理解:初始化w和b为0,然后进行训练,如果出现分类错误,那么就不断更新参数,直到所有都分类正确
三、感知机存在的问题
感知机不能拟合XOR的函数,他只能对平面进行线性分割
四、多层感知机
1.学习XOR
2.单隐藏层
3.知识储备——>关于隐藏层的理解
神经网络本质上是为了拟合函数
中间的 r 为非线性操作 即是隐藏层或激活函数
L 为线性操作
x—线性操作 L1—> —非线性操作 r—>
—线性操作 L2—>
关于激活层不能为线性函数的原因:
1. 激活层存在的意义是为了更好的拟合函数,使函数有更多的特性。同时,对于有的f(x)不便于直接表达出来,这时后,使用隐藏层来表示
2.如果激活层为线性函数,其实本质上还是对函数做线性操作,这样,隐藏层就没有存在的意义了
4.激活函数
1.Sigmoid函数
2.Tanh函数
将输入投影到(-1,1)
3.ReLU函数
4.多隐藏层
总结
- 多层感知机使用隐藏层和激活函数得到非线性模型
- 常用激活函数为Sigmoid , Tanh , ReLU
- 使用 Softmax 来处理多分类
- 超参数为隐藏层个数个隐藏层大小