前馈神经网络

简介

前馈神经网络，是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈，是单向传播的。
在此神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐藏层。隐藏层可以是一层。也可以是多层。

目标

前馈神经网络能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。
其目标是拟合一个函数，如有一个分类器 y=f∗(x) 将输入 x 映射到输出类别 y 。深度前馈网络将这个映射定义为 f(x,θ) 并学习这个参数 θ 的值来得到最好的函数拟合。

激活函数

简介

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。没有激活函数的每层都相当于矩阵相乘。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。

常用的激活函数

Sigmoid函数
将变量映射到0,1之间。

损失函数

用于衡量模型预测的好坏。其值越小，代表所对应的参数拟合程度越高。

常见的损失函数

• 0-1损失函数。当预测错误时，损失函数为1，当预测正确时，损失函数值为0
• 平方损失函数（最小二乘法）
• 指数损失函数
• 对数损失函数
• Hinge loss一般分类算法中的损失函数，尤其是SVM，其定义为：
  L(w,b)=max{0,1−yf(x)}，其中 y=+1或y=−1 ，f(x)=wx+b ，当为SVM的线性核时。