2021Q1概率预测类

2.概率预测

2.1 logistic regression

扪心自问几个问题：

• 损失函数是啥？
• 如何求解？
• 怎么评估效果？
• 适用条件、优劣是啥？不可以拟合离散变量？
• 多分类怎么办？
• 样本不均衡怎么办？
• 阈值如何确定？
• logistic 和 lasso 、ridge回归的关系？

2.1.1原理

事件发生概率y in [0,1] ，事件不发生的概率 1-y in [0,1]，但是几率（odds）= y/(1-y) in （0，+无穷）。对数函数ln() 可以将 in（0，+无穷）的连续数值转为 in （-无穷，+无穷）。
所以ln(y/(1-y)) 的阈值in （-无穷，+无穷）,可以与ax+b的阈值映射。

损失函数

求解方法

梯度下降法(求导)
牛顿法(二阶泰勒展开)

方法的拓展

对待估计的系数进行约束，例如增加L1约束即为Lasso回归，增加L2约束即为ridge回归。
L1正则项：假定系数服从拉普拉斯分布
L2正则项：假定系数服从正泰分布
L1与L2都是让更多系数趋于零，进行特征选择的方法，速度不同，L1更快

2.1.2实现代码

2.1.3资料链接

理论大全：原理+损失函数+求解的传送门
这个博主很nb 的样子！！