DellTower的博客

逻辑回归中的优化算法总结一假设我们有m个数据对(x,y)，且数据x的维度为n的自变量，y为离散型因变量。在逻辑回归中，我们的任务通常是训练出一个多项式函数，其中w0等为未知常数，被称为权重，所有权重记为。（这个是线性回归的多项式函数，逻辑回归还需要一个sigmod函数进行压缩）我们通过这个多项式函数来拟合已有的数据对应关系（x,y)，通常用如下公式来计算两者的差异和拟合程度。因为在数据...

优化算法介绍2牛顿法、拟牛顿法介绍及其实现上篇博客介绍了利用梯度方法进行优化的几个算法，简单来说就是通过计算损失函数的在当前点的梯度，衡量向哪个方向移动会获得最快的降速，本篇所讲的几个算法是它们的延伸。他们不仅计算出当前点的下降速度，而且还计算出当前下降速度的加速度，即这个下降速度会变大还是变小。牛顿法主要用在两个地方1、求解线性方程的解。2、作为一种优化方法。牛顿法求解线...

最近使用LR的方法，训练了一个排序模型，边实践边总结，这篇说下LR相关的理论知识。一、LR的定义LR是Logistic Regression 的缩写，称为逻辑回归。假设数据集为,其中m代表数据个数，是数据的特征向量，维度为n，是其j维的值，是数据的类别，只有两个值{+1,-1}，1代表正样本，-1代表负样本。LR是一种分类模型，它通过以下公式判断出特征向量的类别：其中w是权重向...

这是我学习LR和使用LR训练模型时用到的资料，注明了url和文章要点，供参考。https://www.zhihu.com/question/266442920数据穿越现象数据（特征）穿越在金融领域经常会发生，因为贷款用户是否发生逾期的表现期比较长（一般几个月），在加工特征时候需要特别强调不能使用申贷之后的数据。原因很简单，就是老生常谈的保证模型泛化性。如何保证模型的泛化性？一般评估...

LR总结二--特征工程上篇总结了LR的理论，这篇总结使用LR时关于特征工程方面的知识。主要从特征来源、特征选择、特征处理几个方面总结。我所面对的任务是训练一个LR模型来预测用户对歌曲的喜爱与否。一、特征来源一般情况下模型所需要的特征来自于两个方面，1：和业务相关的原始特征，2：通过其他模型提取的高级特征。针对我的问题，第一种来源的特征就有很多，比如歌曲的相关信息（歌曲名，歌手名，歌...

LR总结二--特征工程中的几个疑难问题的理解上篇总结使用LR时关于特征工程方面的知识，这篇总结下对其中几个疑难问题的理解。我所面对的任务是训练一个LR模型来预测用户对歌曲的喜爱与否。一、为什么对某些特征进行离散化？有些特征虽然也是数值型，但是其值相加减是没有意义的，也需要转换成离散型。比如说年龄的两个值20和30，在w确定的情况下，x是特征向量，x的年龄特征是20与特征是30时相比...