sofmax与概率

.1. 逻辑回归原理

1.1.1. 逻辑回归

在现实生活中，我们遇到的数据大多数都是非线性的，因此我们不能用上一章线性回归的方法来进行数据拟合。但是我们仍然可以从线性模型着手开始第一步，首先对输入的数据进行加权求和。
线性模型：

 

z=wx+bz=wx+b

其中w我们称为“权重”，b为偏置量（bias），xx为输入的样本数据，三者均为向量的形式。

我们先在二分类中来讨论，假如能创建一个模型，如果系统输出1，我们认为是第一类，如果系统输出0，我们认为是第二类，这种输出需求有点像阶跃函数（海维塞德阶跃函数），但是阶跃函数是间断函数，y的取值在x=0处突然跳跃到1，在实际的建模中，我们很难在模型中处理这种情况，所以我们使用Sigmoid函数来代替阶跃函数。

Sigmoid函数：

 

y=sigmoid(z)=11+e−zy=sigmoid(z)=11+e−z

Sigmoid函数是激活函数其中的一种，当x=0时，函数值为0.5，随着x的增大，对应的Sigmoid值趋近1，而随着x的减小，Sigmoid值趋近0。通过这个函数，我们可以得到一系列0—1之间的数值，接着我们就可以把大于0.5的数据分为1类，把小于0.5的数据分为0类。

这种方式等价于是一种概率估计，我们把y看作服从伯努利分布，在给定x条件下，求解每个yiyi为1或0的概率。此时，逻辑回归这个抽象的名词，在这里我们把它转化成了能够让人容易理解的概率问题。接着通过最大对数似然函数估计w值，就解决问题了。
yiyi等于1的概率为：

sigmoid(wxi+b)sigmoid(wxi+b)

yiyi等于0的概率为：

1−sigmoid(wxi+b)1−sigmoid(wxi+b)

以上对Sigmoid函数描述可以看出该函数多用于二分类，而我们会经常遇到多分类问题，这时，Softmax函数的就派上用场了。

Softmax函数：
Softmax函数也是激活函数的一种，主要用于多分类，把输入的线性模型当成幂指数求值，最后把输出值归一化为概率，通过概率来把对象分类，而每个对象之间是不相关的，所有的对象的概率之和为1。对于Softmax函数，如果j=2的话，Softmax和Sigmoid是一样的，同样解决的是二分类问题，这时用两种函数都能进行很好的二分类。

 

softmax(z)i=ezi∑jezjsoftmax(z)i=ezi∑jezj

以上公式可以理解为，样本为类别ii的概率。即：

yi=softmax(wx+b)=ewxi+b∑jewxj+byi=softmax(wx+b)=ewxi+b∑jewxj+b

对于Softmax回归模型的解释，在这里引用一下别人的图，一张图片就胜过千言万语。

如果写成多项式，可以是这样：

如果换成我们常用的矩阵的形式，可以是这样：

1.1.2. 损失函数

在线性回归中，我们定义了一个由和方差组成的损失函数，并使该函数最小化来找到θθ的最优解。同样的，在逻辑回归中我们也需要定义一个函数，通过最小化这个函数来解得我们的权重w值和偏差b值。在机器学习中，这种函数可以看做是表示一个模型的好坏的指标，这种指标可以叫做成本函数（Cost）或损失函数（Loss），然后最小化这两种函数，这两种方式都是一样的。
这里介绍一个常见的损失函数——“交叉熵”，在后面的实例代码中我们会用到。交叉熵产生于信息论里面的信息压缩编码技术，后来慢慢演变成从博弈论到机器学习等其他领域的重要技术，它用来衡量我们的预测用于描述真相的低效性。它的定义如下：

 

H(yi)=−∑iylabelln(yi)H(yi)=−∑iylabelln(yi)

它是怎么推导出来的呢，我们先来讨论一下Sigmoid的损失函数，接着再来对比理解。在上面的二分类中问题中，我们使用Sigmoid函数，同时我们也假定预测值yiyi服从伯努利分布，则yiyi等于1的概率为：

11+ewxi+b11+ewxi+b

yiyi等于0的概率为：

1−11+ewxi+b1−11+ewxi+b

则概率密度函数为：

P(y|x)=(11+ewxi+b)ylabel(1−11+ewxi+b)1−ylabelP(y|x)=(11+ewxi+b)ylabel(1−11+ewxi+b)1−ylabel

上式中的ylabelylabel是样本为类别1的实际概率。接着我们取对数似然函数，然后最小化似然函数进行参数估计（这里省略似然函数和一系列文字）。
而我们把问题泛化为多分类时，同样可以得出我们的概率密度函数：

P(y|x)=∏iP(yi|x)ylabelP(y|x)=∏iP(yi|x)ylabel

我们对概率密度取自然对数的负数，就得到了我们的似然函数，即我们这里称为交叉熵的函数，其中yiyi是样本为类别ii的预测概率，ylabelylabel是样本为类别ii的实际概率。

H(yi)=−∑iylabelln(yi)=−∑iylabelln(softmax(wx+b))H(yi)=−∑iylabelln(yi)=−∑iylabelln(softmax(wx+b))

最后，通过最小化该交叉熵，找出最优的w和b值。

原文地址：

https://www.cnblogs.com/vipyoumay/p/7507149.html