LR逻辑回归复习

LR推导（伯努利过程，极大似然，损失函数，梯度下降）有没有最优解？

https://editor.csdn.net/md/?articleId=105922852

LR可以用核么？可以怎么用？l1和l2正则项是啥？lr加l1还是l2好？加哪个可以用核（加l2正则项，和svm类似，加l2正则项可以用核方便处理）

https://www.youtube.com/watch?v=AbaIkcQUQuo

需要找到w是z的线性组合，比如在SVM中，z的系数就是对偶问题的解。
在LR中我们使用SGD也可以得到w的线性组合。

我们就需要解决最好的w什么时候可以用z表达出来

我们定义只要我们是在解决L2-regression问题，就一定有一个最好的w能用z的线性组合表达出来。

那么我们要如何证明上面

假设我们有最佳解W^*分为w（平行）和w（垂直），我们希望最后的解是没有w（垂直）。

那么我们假设如果有w（垂直）会怎么样（反证法）
我们从公式可以看到W^*乘上Zn，等于w（平行）乘上Zn。那么w（垂直）乘Zn是0。

那么下面怎么用kernel LR：

现在确定了w一定是z的线性组合，我们就求beta就好了

这是一个没条件的最佳化问题。

GD or SGD

LR可以用来处理非线性问题么？（还是lr啊 只不过是加了核的lr 这里加核是显式地把特征映射到高维 然后再做lr）怎么做？可以像SVM那样么？为什么？

为什么LR需要归一化或者取对数，为什么LR把特征离散化后效果更好，为什么把特征组合之后还能提升，反正这些基本都是增强了特征的表达能力，或者说更容易线性可分吧

https://www.jianshu.com/p/1c2569c894ce

美团技术团队《Logistic Regression 模型简介》https://tech.meituan.com/intro_to_logistic_regression.html
SVM和logistic回归分别在什么情况下使用？https://www.zhihu.com/question/21704547
逻辑斯蒂回归能否解决非线性分类问题？https://www.zhihu.com/question/29385169
为什么LR可以用来做CTR预估？https://www.zhihu.com/question/23652394

逻辑回归估计参数时的目标函数 （就是极大似然估计那部分），逻辑回归估计参数时的目标函数 （呵呵，第二次） 逻辑回归估计参数时的目标函数 如果加上一个先验的服从高斯分布的假设，会是什么样（天啦。我不知道，其实就是在后面乘一个东西，取log后就变成加一个东西，实际就变成一个正则项）

https://blog.csdn.net/weixin_43178406/article/details/98474881
https://cloud.tencent.com/developer/article/1540738
https://zhuanlan.zhihu.com/p/65094972

高斯分布：Logistic回归是一种线性算法（对输出进行非线性变换）。 它确实假设输入变量与输出之间存在线性关系。 输入变量的数据转换可以更好地揭示这种线性关系，从而可以建立更准确的模型。 例如，您可以使用log，root，Box-Cox和其他单变量转换来更好地揭示这种关系。

逻辑回归估计参数时的目标函数逻辑回归的值表示概率吗？（值越大可能性越高，但不能说是概率）
Technically, possibility of any event is always 1 or 0 i.e. ‘yes’ or ‘no’. If an event is possible, how likely will its occurrence be, under a given situation is probability.

Example, When we roll a dice, possibility of it showing up number 5 is ‘Yes’ (or 1), possibility of showing up number 8 is ‘No’(or 0).In a situation where the dice is rolled once, Probabilty of it showing up number 5 is 1/6.

So, every event that we consider while finding the probability of occurence of a particular event, is a possible event.

似然和概率是不一样的：
概率和似然之间的区别从根本上来说很重要：概率表示可能的结果有关；似然表示假设。

假设我们要求一个受检者预测10次抛硬币的结果。只有11种可能的结果（0到10个正确的预测）。实际结果将始终是可能结果之一，并且仅是其中之一。因此，与可能结果相关的概率之和必须为1。

https://yangfangs.github.io/2018/04/06/the-different-of-likelihood-and-probability/

手推逻辑回归目标函数，正类是1，反类是-1，这里挖了个小坑，一般都是正例是1，反例是0的，他写的时候我就注意到这个坑了，然而写的太快又给忘了，衰，后来他提醒了一下，改了过来，就是极大似然函数的指数不一样，然后说我这里的面试就到这了。

看没看过scikit-learn源码LR的实现？（回头看了一下是调用的liblinear，囧）

为什么LR需要归一化或者取对数，为什么LR把特征离散化后效果更好，为什么把特征组合之后还能提升，反正这些基本都是增强了特征的表达能力，或者说更容易线性可分吧

naive bayes和logistic regression的区别http://m.blog.csdn.net/blog/muye5/19409615

LR为什么用sigmoid函数。这个函数有什么优点和缺点？为什么不用其他函数？sigmoid函数由那个指数族分布，加上二项分布导出来的。损失函数是由最大似然估计求出的。

了解其他的分类模型吗，问LR缺点，LR怎么推导（当时我真没准备好，写不出来）写LR目标函数，目标函数怎么求最优解（也不会）讲讲LR的梯度下降，梯度下降有哪几种，逻辑函数是啥