我最近开始研究LR,我仍然没有得到很多推导步骤,但我想我知道使用了哪些公式。在
首先,假设您使用的是scikitlearn的最新版本,并且使用的解算器是solver='lbfgs'(我相信这是默认值)。在What is the Maximum likelihood estimate? How is this being calculated?
有趣的是:# Logistic loss is the negative of the log of the logistic function.
out = -np.sum(sample_weight * log_logistic(yz)) + .5 * alpha * np.dot(w, w)
它是formula 7 of this tutorial。该函数还计算似然梯度,然后传递给最小化函数(见下文)。一件重要的事情是,截距是教程中公式的w0。但这是唯一有效的fit_intercept是真的。在What is the error measure?
对不起,我不确定。在What is the optimisation algorithm used?
很重要的一点是类是+1或-1!(对于二进制情况,在文献中0和1是常见的,但它不起作用)
还要注意,numpy broadcasting规则在所有公式中都使用。(这就是为什么你看不到迭代)
希望有帮助。在