chencas的博客

文章目录概述原理类别型特征类别型特征的相关工作目标变量统计（Target Statistics）CatBoost处理Categorical features总结梯度偏差/预测偏移为什么会有梯度偏差？梯度偏差造成了什么问题？如何解决梯度偏差/预测偏移？其他特征组合快速评分基于GPU实现快速训练算法流程总结优点缺点概述CatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库，是B...

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。奇异值分解（SVD）通俗一点讲就是将一个线性变换分解为两个线性变换，一个线性变换代表旋转，一个线性变换代表拉伸注：SVD是将一个矩阵分解成两个正交矩阵和一个对角矩阵，我们...

首先大致lightgbm和xgboost以及catboostxgboostpre-sorted& Histogram-based algorithmpre-sorted algorithm对于每个节点，遍历所有的特征对于每一个特征，以特征值大小进行排序使用一个线性扫描方式，基于信息增益，选取最佳分隔点在所有的特征中，决定最佳分隔特征及分隔点。Histogra...

背景这次主要介绍次梯度(subgradient)和近端梯度下降（Proximal gradient descent）算法我们以L1正则化求解为例次梯度对于任一个损失函数，将其简化写为：L(w,λ)=f(w)+λ∣w∣L(w, \lambda) = f(w) + \lambda|w|L(w,λ)=f(w)+λ∣w∣对于第一项求导gw(w,λ)=∂f(w)∂wg_w(w, \lambda)...

背景GAN全名（Generative Adversarial Nets），即生成对抗网络。它是在什么背景下出现，为了解决什么呢？我们知道在深度学习领域中，判别模型可以利用反向传播算法等来进行求解，也即从建模，到最终的分类预测均能够顺利地实施并取到不错的效果；但在深度学习中，生成模型常用的极大似然估计等，通常对其难以进行有效的概率计算，并且也难以利用在生成的中间内容以进行有效地学习。基于上述在...

Adboost原理Adboost是利用前一轮弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去，简单的说是Boosting框架+任意基学习器算法+指数损失函数。它是加法模型，学习的是前向分布学习算法，损失函数为指数函数的分类问题；另外，其基分类器可以为任何学习器，使用最广泛的是决策树和神经网络；对于决策树，使用CART分类回归树目标函数损失函数为指数函数，即定义损失函数为：L=ar...

Bossbag-of-SFA-symbols它首先从时间序列中提取子结构（substructures）对子结构应用低通滤波和量子化，这能够降低噪声，并使用字符串匹配算法然后比较两个时间序列noise-reduced patterns的差别优点：快应用了降噪（noise reduction）invariance to offsets is treated as a parameter...

梯度下降批量梯度下降随机梯度下降牛顿法拟牛顿法trust-regionL1正则化的求解次梯度，次导数

PU learning背景PU learning(positive-unlabeled learning)，即我们只有正样本和未标注的样本，以此进行分类学习。其可在以下几个领域内应用：检索从大量无标注的样本中选取特定的样本，比如人脸标注异常检测包括inlier-based outlier 检测序列数据检测负样本的分布随着时间改变，这样传统的分类将不再适合，PU 只需要更新未标注...

LDA共轭先验分布在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。共轭的意思是，以Beta分布和二项式分布为例，数据符合二项分布的时候，参数的先验分布和后验分布都能保持Beta分布...