传统推荐算法(五) FFM模型(1) 逻辑回归损失函数

1. 逻辑回归

逻辑回归使用回归手段来做分类问题(主要是二分类).它使用sigmoid函数减小预测范围,将线性回归的结果限定在(0,1)之间,并将其作为条件概率进行建模.[1]中解释了为什么这么做是合理的.对于单个样本,逻辑回归的构造函数为:

]

也就是给出了线性参数和x的条件概率函数.也就是似然概率函数.显然,在给定Θ和x后,y=1的概率和y=0的概率为:

2. y(1,0) 逻辑回归损失

已知单个样本的似然概率,如何求解逻辑回归参数呢?在统计学中,常用最大似然估计来求解模型参数.

首先,单个样本的似然度可以简化为:

因此所有样本的似然度:

最大似然估计,就是极大化似然度,这种乘积形式直接作为损失函数梯度下降不方便,因此逻辑采用对数函数转化为对数似然函数:

最大似然估计就是求使l(Θ)最大的Θ,这里可以使用梯度上升方法来求解.

但机器学习中常用损失函数的概念来求解.因此长采用如下形式,将似然度转化为损失函数:

损失函数肯定要最小化,这里就要换成梯度下降方法来求解.

---

即上述过程也可以先求单个样本的对数损失,然后求和,都是一样的:

我们可以发现,只要求出了似然度,有两种方法写法可以得到逻辑损失函数.第一种是先求整体似然函数然后转整体损失函数,第二种直接由单样本似然度求单个样本损失,然后求和.

3. y(-1,-1) 逻辑回归损失

通过上一节我们知道了逻辑回归常用的损失函数的形式.这一节分析下另一种形式.

首先看给定w和x后,y=1和y=-1的似然概率:

这个似然度同样可以合成一个式子:

由最大似然度损失就不再一步步推导了,两种写法都可以推导,结论一目了然:

---

这个似然度也可以这样进一步简化:

这样写比上面那个好推多了,损失函数一步到位:

[1] https://tech.meituan.com/2015/05/08/intro-to-logistic-regression.html
[2] https://blog.csdn.net/pakko/article/details/37878837
[3] https://www.cnblogs.com/sparkwen/p/3441197.html
[4] https://blog.csdn.net/hualinchangfeng/article/details/78606658
[5] https://www.csie.ntu.edu.tw/~r01922136/slides/ffm.pdf

公众号

更多精彩内容请移步公众号:推荐算法工程师