![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine learning
文章平均质量分 81
futurewq
活到老,学到老
展开
-
线性可分支持向量机与硬间隔最大化
线性可分支持向量机给定线性可分训练数据集,通过间隔最大化或等价地求解相应地凸二次规划问题学习得到的分离超平面为 以及相应的分类决策函数 f(x)=sign(w...原创 2021-09-27 22:26:58 · 466 阅读 · 0 评论 -
最大熵模型
https://zhuanlan.zhihu.com/p/234442747https://www.zhihu.com/question/23686709原创 2021-08-29 15:45:01 · 235 阅读 · 0 评论 -
逻辑回归(Logistic Regression)
1.模型介绍Logistic Regression虽然被称为回归,但其实实际上是分类模型,并常用于二分类。Logistic Regresion因其简单、可并行化、可解释强深受工业界喜爱。Logistic回归的本质是:假设数据服从这个分布,然后使用极大似然估计做参数的估计。1.1Logistic分布Logistic分布是一种连续型的概率分布,其分布函数和密度函数分别为:其中,μ表示位置参数,γ>0为形状参数。我们可以看下其图像特征:Logistic分布是由其位置和尺度参数定义转载 2021-08-08 15:17:38 · 5490 阅读 · 0 评论 -
task2
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念 权重衰减 丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误...原创 2020-02-19 21:45:20 · 143 阅读 · 0 评论 -
动手学深度学习1
softmax的基本概念¶ 分类问题 一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度。 图像中的4像素分别记为x1,x2,x3,x4x1,x2,x3,x4。 假设真实标签为狗、猫或者鸡,这些标签对应的离散值为y1,y2,y3y1,y2,y3。 我们通常使用离散的数值来表示类别,例如y1=1,y2=2,y3=3y1=1,y2=2,y3=3。 权重矢量 ...原创 2020-02-13 20:52:04 · 413 阅读 · 0 评论 -
Regression case study(lihongyi)
首先,回归问题就是需要求解的结果是一个数值,目标值是一系列的数值。回归问题例子如下图所示。在这里我们以预测宝可梦的CP值作为问题背景。为了求解回归问题,给回归问题确定一个合适的函数,我们通常需要三步。第一步,Model;第二步,Goodness of function;第三步,Best Function.第一步 Model针对问题,我们首先需要确定模型,该模型中可能有很多function...原创 2019-05-18 19:00:58 · 159 阅读 · 0 评论 -
catboost
CatBoost = Category + Boosting2017年7月21日,俄罗斯Yandex开源CatBoost,亮点是在模型中可直接使用Categorical特征并减少了tuning的参数。建树的过程:1.初步计算splits对每个数值特征二值化,选择可能的分桶方式,结果用于选择树结构。binarization method (feature_border_type) 和...转载 2019-04-20 19:55:11 · 755 阅读 · 0 评论 -
lightGBM算法梳理
首先,GBDT是一个非常流行的机器学习算法,另外基于GBDT实现的XGBoost也被广泛使用。但是当面对高纬度和大数据量时,其效率和可扩展性很难满足要求。主要的原因是对于每个特征,我们需要浏览所有的数据去计算每个可能分裂点的信息增益,真是非常耗时的。基于此,提出了两大技术:Gradient-based One-Side Sampling (GOSS) and Exclusive Feature B...原创 2019-02-04 15:03:28 · 849 阅读 · 0 评论 -
XGB算法梳理
目录 1.CART树2.算法原理3.损失函数4.分裂节点算法5.正则化6.对缺失值的处理7.xgb的其他优化8.xgb参数9.xgb常问面试问题1.CART树CART树(分类与回归树),可以用于分类也可以用于回归。其内部节点特征的取值为“是”和“否”,节点的左分支取值为“是”,节点de的右分支取值为“否”。对于回归树使用平均误差最小化准则,对于分类树...原创 2019-02-03 03:38:45 · 16263 阅读 · 1 评论 -
AdaBoost原理详解
http://www.cnblogs.com/pinard/p/6133937.html转载 2019-02-03 03:27:34 · 1158 阅读 · 0 评论 -
GBDT算法梳理
目录1.前向分布算法2.负梯度拟合3.损失函数4.回归5.二分类、多分类6.正则化7优缺点8.sklearn参数9.应用场景为了对GBDT有一个更清楚的认识,首先简单将GBDT和Adaboost做一个du对比性的说明。GBDT使用的是加法模型和前向分布算法,而AdaBoost算法是前向分布加法算法的特例,前向分布算法学习的是加法模型,当基函数为基本分类器时,...原创 2019-02-02 15:23:47 · 437 阅读 · 0 评论 -
集成学习基础、adaboost、随机森林
目录1.集成学习概念2.个体学习概念3.boosting bagging AdaBoost算法讲解:4.结合策略(平均法、投票法、学习法)5.随机森林思想6.随机森林的推广7.随机森林的优缺点8.sklearn参数9.随机森林应用场景1.集成学习概念集成学习通过构建并结合多个学习器来完成任务,有时被称为多分类系统、基于委员会的学习等。如图1显示...原创 2019-01-27 17:58:29 · 490 阅读 · 0 评论 -
决策树学习
目录1.什么是决策树2.决策树的三个算法3.决策树的三个算法的剪枝方式4.决策树的应用场景5.决策树的原理与sklearn中的接口对应关系1.什么是决策树 决策树是一种基本的分类与回归方法。决策树模型呈现树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以认为是定位在特征空间与类空间上的条件概率分布。其主要优点...原创 2019-01-15 21:01:57 · 416 阅读 · 0 评论