概念
神经网络
请参照这篇文章神经网络浅讲:从神经元到深度学习,以对神经网络的发展历史以及其数学原理有一个基本的了解。本文只对将要在后续过程中使用的神经网络模型进行介绍。
神经网络本质上是一个数理模型,它最初的灵感来自于人大脑中的神经系统,不过发展到后来已经与其灵感来源没什么太大关联了。
要了解全局,我们首先要了解局部。
神经网络(artificial neural network)本质上就是由多层(layer)神经元(neuron)构成的一个可接受输入,并能输出结果的一个算法(algorithm)。
既然神经网络的基本单位是神经元,那么我们就首先来看,神经元的定义是什么。而神经元的定义,我们参考Andrew Ng在Deep Learning教程中的引入方法来介绍,从Logistic Regression说起。
Logistic Regression
给定一个样本的x(特征输入向量),我们想得到该样本所属的类别y(0或1)。不过我们希望有个模型最好能告诉我们,该样本属于1或0的概率是多少,于是,logistic regression应运而生。
用公式来表达:
Given x, want ŷ =P(y=1|x) , x∈Rnx
Parameters: w∈Rnx , b ∈ R
Output: ŷ =σ(wTx+b)
z:=wTx+b
另外,我们将z代入一种名为sigmoid的函数,看函数的值如何随z的变化而变化。
可以看出,sigmoid函数的特性是,当z很大,函数值接近1,z很小,函数值接近0。而这个输出的值域刚好和概率值的值域是一致的,因此,我们可以将一个训练好的logistic模型输出的值作为判断一个样本属于某个类的概率。
而最终,我们的logistic regression模型的目标就是学习最好的w和b参数,以使得模型能够在判断新样本的类型时,有最高的正确率。
获得最优w,b参数的过程叫做训练,训练需要首先找到一个成本函数(cost function),作为模型是否被训练的足够好的参考。
在线性模型的训练中,损失函数(Loss(error) Function)被定义为:
(注意,损失函数针对的是在单个样本上的误差,而成本函数针对的是整个训练集的平均误差,成本函数是最终的优化目标【参考这里】)
于是,针对这种情况,LR采取了以下特定损失函数:
这个损失函数的特性是:
- 当y=1, l(ŷ ,y)=−logŷ , 而此时若 ŷ 的值偏离1比较远(由于sigmoid函数的取值,只能是向0方向偏移),根据log函数的特性, l(ŷ ,y) 会变得特别大。
- 当y=0, l(ŷ ,y)=−log(1−ŷ )