1.概念
模拟生物的神经系统,对函数进行估计或者近似
2.神经元
a.神经网络中的基础单元,相互连接。组成神经网络。
b.
c.一个神经元的功能是求得输入向量与权向量的内积后,经一个非线性传递函数得到一个标量 结果。
3.单层神经网络
a.最近单的神经网络的形式
4.感知机
a.两层的神经网络
b.简单的二分类问题,给定阈值,判断数据属于哪一部分(输出+1正例-1反例)
c.超平面的分割,对于2维空间就是一条直线把平面分为两部分
5.多层神经网络
a.输入层
b.输出层
c.隐层:可以有多层,每层神经元个数可以不确定
d.全连接层:第N层和第N-1层中神经元两两之间都有链接
i.进行是y=wx+b
6.激活函数
a.线性:
i. 系统:函数,f,模型,f(x)=y
ii. f(x1+x2) = y1+y2
iii. f(kx1)=ky1
b.作用:
i.增加模型的非线性分割能力
ii.提供模型的稳定性
iii.缓解梯度消失
iv.加速模型的收敛
c.常见的激活函数
i. sigmod: (0,1)
ii. tanh: (-1,1)
iii. relu: max(0,x) (常用输入图片格式,像素(0,255))
iv. ELU a(e^x - 1)