Raymond_Love的博客

1. 《Churn prediction in telecommunication using ML》 Abstract Setbacks (difficulties): enormous database； large feature space； imbalanced class distribution：number of churner << number of non-churners ..

Table of Contents0. 题目简介1. 资源收集和整理2. 相关学习资料2.1 相似比赛思路2.2 数据处理+特征工程2.2.1 数据处理：2.2.2 特征工程：2.3 模型和参数调优3. 一些笔记3.1 《结合Scikit-learn介绍几种常用的特征选择方法》3.2 《[机器学习实战]使用 scikit-learn 预测用户流失》3.3 《天池数据挖掘比赛技术与套路总结》3.4 《LogisticRegression用户流失预测模型初探【

机器学习优化过程中的损失函数通常由经验损失和正则项两部分组成。经验损失反映了模型的预测值与真实数据的误差值；而正则项则对模型的复杂程度进行约束，使其不至于对数据进行过分表达，即减少过拟合的风险。L1和L2范式是比较常用的正则项，相比于L2，L1正则化将产生稀疏的权值。这里面的原因是什么呢？首先我们来看看L1和L2范式的数学定义：L1：向量元素绝对值之和，也称街区距离（city-bloc...

一直对拉格朗日乘子法不是理解的不是很透彻，今天决定要push一下自己，彻底的理解拉格朗日乘子法，希望对大家有所帮助。接下来，我将从一下几个方面循序渐进的介绍拉格朗日乘子法：目录1 拉格朗日乘子法的基本定义和思想1.2 拉格朗日乘子法的定义1.3 KKT（Karush-Kuhn-Tucker）条件1.3.1 为什么拉格朗日乘子法可以将带约束的优化问题转换成无约束的优化问题?...

SVM是第一个开始深入学习并大部分理解的算法。趁着2018年的最后一天，抓紧时间，总结一下自己学到的东西，和大家分享一下！参考资料：周志华老师的《机器学习》+李航老师的《统计学习方法》SVM是一种监督学习的二分类算法。基本SVM可以用来解决样本空间中线性可分的问题。通过引入核函数，可以将在原始样本空间线性不可分的问题，转换成为在高维特征空间中线性可分的问题，进而得以解决。另外，针对那些...

GBDT和XGBoost在工业界和竞赛界有着广泛的应用。虽然使用起来并不难，但若能知其然也知其所以然，则会在使用时更加得心应手。本文主要是根据对陈天奇大神的PPT和原始论文的学习，梳理一下GBDT和XGBoost的“知识点”。首先我们先列出CART，GB，GBDT和XGBoost之间的关系。CART是分类与回归树（Classification and Regression Trees），是...