![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
chencas
这个作者很懒,什么都没留下…
展开
-
catboost原理
文章目录概述原理类别型特征类别型特征的相关工作目标变量统计(Target Statistics)CatBoost处理Categorical features总结梯度偏差/预测偏移为什么会有梯度偏差?梯度偏差造成了什么问题?如何解决梯度偏差/预测偏移?其他特征组合快速评分基于GPU实现快速训练算法流程总结优点缺点概述CatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库,是B...原创 2020-02-20 21:32:24 · 9132 阅读 · 1 评论 -
基础算法 --- > SVD
奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。奇异值分解(SVD)通俗一点讲就是将一个线性变换分解为两个线性变换,一个线性变换代表旋转,一个线性变换代表拉伸注:SVD是将一个矩阵分解成两个正交矩阵和一个对角矩阵,我们...原创 2020-01-08 20:16:10 · 698 阅读 · 0 评论 -
从xgboost, lightgbm 到catboost
首先大致lightgbm和xgboost以及catboostxgboostpre-sorted& Histogram-based algorithmpre-sorted algorithm对于每个节点,遍历所有的特征对于每一个特征,以特征值大小进行排序使用一个线性扫描方式,基于信息增益,选取最佳分隔点在所有的特征中,决定最佳分隔特征及分隔点。Histogra...原创 2020-04-02 16:24:38 · 861 阅读 · 0 评论 -
基础算法 --- > 优化方法(二)
背景这次主要介绍次梯度(subgradient)和近端梯度下降(Proximal gradient descent)算法我们以L1正则化求解为例次梯度对于任一个损失函数,将其简化写为:L(w,λ)=f(w)+λ∣w∣L(w, \lambda) = f(w) + \lambda|w|L(w,λ)=f(w)+λ∣w∣对于第一项求导gw(w,λ)=∂f(w)∂wg_w(w, \lambda)...原创 2019-12-21 20:13:39 · 459 阅读 · 0 评论 -
GAN --- > 基础
背景GAN全名(Generative Adversarial Nets),即生成对抗网络。它是在什么背景下出现,为了解决什么呢?我们知道在深度学习领域中,判别模型可以利用反向传播算法等来进行求解,也即从建模,到最终的分类预测均能够顺利地实施并取到不错的效果;但在深度学习中,生成模型常用的极大似然估计等,通常对其难以进行有效的概率计算,并且也难以利用在生成的中间内容以进行有效地学习。基于上述在...原创 2019-12-14 15:47:26 · 353 阅读 · 0 评论 -
由adboost, gbdt到xgboost,从目标函数说起
Adboost原理Adboost是利用前一轮弱学习器的误差率来更新训练集的权重,这样一轮轮的迭代下去,简单的说是Boosting框架+任意基学习器算法+指数损失函数。它是加法模型,学习的是前向分布学习算法,损失函数为指数函数的分类问题;另外,其基分类器可以为任何学习器,使用最广泛的是决策树和神经网络;对于决策树,使用CART分类回归树目标函数损失函数为指数函数,即定义损失函数为:L=ar...原创 2019-10-27 13:04:12 · 1061 阅读 · 0 评论 -
序列挖掘 --- >BOSS
Bossbag-of-SFA-symbols它首先从时间序列中提取子结构(substructures)对子结构应用低通滤波和量子化,这能够降低噪声,并使用字符串匹配算法然后比较两个时间序列noise-reduced patterns的差别优点:快应用了降噪(noise reduction)invariance to offsets is treated as a parameter...原创 2020-01-18 20:55:04 · 1324 阅读 · 0 评论 -
基础 --- 优化方法(一)
梯度下降批量梯度下降随机梯度下降牛顿法拟牛顿法trust-regionL1正则化的求解次梯度,次导数原创 2020-01-18 20:57:34 · 282 阅读 · 0 评论 -
PU --- > 无偏PU learning简介
PU learning背景PU learning(positive-unlabeled learning),即我们只有正样本和未标注的样本,以此进行分类学习。其可在以下几个领域内应用:检索从大量无标注的样本中选取特定的样本,比如人脸标注异常检测包括inlier-based outlier 检测序列数据检测负样本的分布随着时间改变,这样传统的分类将不再适合,PU 只需要更新未标注...原创 2019-07-05 18:06:13 · 7389 阅读 · 3 评论 -
NLP --- > LDA
LDA共轭先验分布在贝叶斯概率理论中,如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律,那么,先验分布和后验分布被叫做共轭分布,同时,先验分布叫做似然函数的共轭先验分布Beta分布是二项式分布的共轭先验分布,而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。共轭的意思是,以Beta分布和二项式分布为例,数据符合二项分布的时候,参数的先验分布和后验分布都能保持Beta分布...原创 2019-07-07 19:29:20 · 393 阅读 · 0 评论