《美团机器学习实践》读书笔记-第3章 常用模型

逻辑回归

大神笔记
https://blog.csdn.net/hiwallace/article/details/81237089

Logistic Regression基础理解

经典的LR模型主要通过sigmoid函数，将线性拟合结果转化为概率，通过梯度下降（GD）对最大似然概率（loss函数）的求解最终得到参数的估计值。
最理想的映射函数为阶跃函数，但是因为其不连续且不充分光滑在求解上有问题而放弃，后期选择了sigmoid函数。最大似然的理论含义就是求取参数使得每个样本标记为其真实标记的概率最大

参数求解方法理解

最初的参数求解方法：
GD，梯度下降，通过对所有样本求梯度而获得一个全局最优解。优点是精度高，保证每次的优化方向都为全局最优；缺点是计算量大，模型复杂（其中梯度下降法是对损失函数一阶求导，牛顿法对损失函数二阶求导，计算结果更为精确）。
后期优化方法：
SGD，随机梯度下降，通过选取其中一部分的样本获得一个当局最优解。优点是计算速度加快了；缺点是计算精度下降且计算速度仍然不够快。
再后期优化方法：
OGD，在线梯度下降，为了满足某些在线场景对计算速度的要求，先现在训练好模型，当有新的在线数据到来的时候可以基于单个样本进行模型训练参数优化（一般可结合GBDT现在特征筛选过后再线上梯度下降优化参数）。优点是实时性高，计算速度快；缺点是计算精度一般。
OGD->FOBOS，前后项算法，相对于OGD能产生更加好的稀疏特征，总体精度比较出色。参数求解：第一步为标准的梯度下降并且将结果进行正则化的微调；另外有添加正则化项对权重进行约束。
RDA，正则对偶平均（微软成果），稀疏性更加出色。参数求解：第一步是对历史梯度进行平均加权（标准的梯度下降）；第二步是正则化部分对特征进行稀疏化；第三步是个严格递增序列相当于额外的正则项。
FTRL，Google提出的在线算法，是FOBOS和RDA的综合优化。参数求解：第一步是标准的梯度下降；第二步是个约束使得新产生的权重和历史权重不偏离太远；第三步是L1正则进行稀疏性约束；第四步是L2正则。总体既保证了权重更新的精度又保证了稀疏性。

场感知因子分解机

梯度提升树