神经网络
神经网络由输入层、隐藏层、输出层组成
神经网络类别
1、单层神经网路(感知机):类似逻辑回归,线性分类,全连接
没有激活函数
2、两层神经网络(多层感知机):带一个隐层,非线性分类,全连接
3、多层神经网络(深度学习):全连接
4、卷积神经网络(CNN):非全连接
5、循环神经网络(RNN):处理序列数据
神经网络的三种函数
激活函数
作非线性变换
常用的激活函数
Sigmoid:输出0到1
Tanh:输出-1到1
Relu:小于0取0,大于0取本身
损失函数
是神经网络优化的目标函数,神经网络训练或者优化的过程就是最小化损失函数的过程,损失函数值小了,对应预测的结果和真是结果的值就越接近