![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
xiaocong1990
这个作者很懒,什么都没留下…
展开
-
lookalike + pu learning
郁丽萍:哈啰出行精准营销框架及算法实践_用户_业务_离线原创 2024-05-10 11:01:04 · 110 阅读 · 0 评论 -
深入理解LightGBM
深入理解LightGBM【机器学习】深度剖析 LightGBM vs XGBOOST 哪个更胜一筹-CSDN博客原创 2024-03-19 11:25:54 · 112 阅读 · 0 评论 -
max pooling 和 mean pooling如何参与反向传播的?
【你不知道的基础】max pooling 和 mean pooling如何参与反向传播的?_zenRRan的博客-CSDN博客原创 2023-04-27 15:05:36 · 54 阅读 · 0 评论 -
MSE、0-1 Loss与Logistic Loss
深度学习相关概念:过拟合与欠拟合_什么是过拟合和欠拟合_AiCharm的博客-CSDN博客原创 2023-04-27 15:03:43 · 67 阅读 · 0 评论 -
过拟合与欠拟合
深度学习相关概念:过拟合与欠拟合_什么是过拟合和欠拟合_AiCharm的博客-CSDN博客原创 2023-04-27 14:59:51 · 53 阅读 · 0 评论 -
L1与L2分别服从什么分布?
L1与L2分别服从什么分布?_l1和l2正则先验分别服从什么分布_AliceWanderAI的博客-CSDN博客L1正则化和L2正则化的区别 - 知乎原创 2023-04-26 16:54:16 · 45 阅读 · 0 评论 -
AUC原理详细讲解
AUC原理详细讲解_晚睡的人没对象的博客-CSDN博客原创 2023-04-26 16:32:05 · 57 阅读 · 0 评论 -
AUC/ROC
无原创 2023-04-17 18:30:35 · 37 阅读 · 0 评论 -
聚类
人工智能 | K-MEANS聚类算法、均值偏移聚类算法、DBSCAN聚类算法、使用高斯混合模型(GMM)的期望最大化(EM)聚类、合成聚类_人工智能博士的博客-CSDN博客【机器学习】聚类算法——高斯混合聚类(理论+图解)_海洋.之心的博客-CSDN博客独家 | 使用高斯混合模型,让聚类更好更精确(附数据&代码&学习资源)【机器学习】DBSCAN密度聚类算法(理论 + 图解)_dbscan 评估_旅途中的宽~的博客-CSDN博客原创 2023-04-17 22:52:31 · 43 阅读 · 0 评论 -
PID详解
PID在控制领域应该是应用最为广泛的算法了,在工业控制,汽车电子等诸多领域中运用下面我用一个例子和算法过程来讲解PID的概念转载 2022-08-11 11:26:09 · 2280 阅读 · 0 评论 -
逻辑回归与最大似然估计推导
逻辑回归与最大似然估计推导原创 2022-07-23 17:14:21 · 419 阅读 · 0 评论 -
线性函数
机器学习 面试题-第二章 线性模型(大厂必问,历经半年整理)_cc13186851239的博客-CSDN博客1. 什么是LR回归?LR的公式及求导?为什么sigmoid函数可以作为概率? - 简书原创 2023-04-17 18:01:35 · 70 阅读 · 0 评论 -
为什么局部下降最快的方向就是梯度的负方向?
为什么局部下降最快的方向就是梯度的负方向?原创 2022-07-23 17:03:42 · 85 阅读 · 0 评论 -
认真的聊一聊决策树和随机森林
认真的聊一聊决策树和随机森林原创 2022-07-21 16:29:29 · 138 阅读 · 0 评论 -
非线性优化-拟牛顿法BFGS(5)
转载 2018-09-22 18:51:03 · 372 阅读 · 0 评论 -
非线性优化-拟牛顿法DFP(4)
转载 2018-09-22 18:49:18 · 376 阅读 · 0 评论 -
非线性优化-拟牛顿法条件(3)
转载 2018-09-22 18:48:15 · 478 阅读 · 0 评论 -
非线性优化-牛顿法(2)
转载 2018-09-22 18:46:42 · 361 阅读 · 0 评论 -
gbdt xgboost lighgbm三者区别
GBDT梯度提升树实在提升树的基础上发展而来的一种使用范围更广的方法,当处理回归问题时,提升树可以看作是梯度提升树的特例(分类问题时是不是特例?)。 因为提升树在构建树每一步的过程中都是去拟合上一步获得模型在训练集上的残差。后面我们将会介绍,这个残存正好是损失函数的梯度,对应于GBDT每一步要拟合的对象。主要思想在目标函数所在的函数空间中做梯度下降,即把待求的函数模型当作参数,每一步要...原创 2018-10-11 21:00:43 · 491 阅读 · 0 评论 -
极大似然估计详解
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下: 贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: 其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,...原创 2018-09-20 16:59:11 · 377 阅读 · 0 评论 -
EM算法详解及在高斯混合聚类中的应用
最大期望算法(EM)K均值算法非常简单(可参见之前发布的博文),详细读者都可以轻松地理解它。但下面将要介绍的EM算法就要困难许多了,它与极大似然估计密切相关。 1 算法原理 不妨从一个例子开始我们的讨论,假设现在有100个人的身高数据,而且这100条数据是随机抽取的。一个常识性的看法是,男性身高满足一定的分布(例如正态分布),女性身高也满足一定的分布,但这两个分布的参数不同。我...原创 2018-09-20 16:47:23 · 1154 阅读 · 0 评论 -
EM聚类算法简介
1.一般概念介绍 最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量(Latent Variable)...原创 2018-09-20 16:18:08 · 5796 阅读 · 0 评论 -
MCMC
链接:http://www.cnblogs.com/pinard/p/6625739.html http://www.cnblogs.com/pinard/p/6632399.html http://www.cnblogs.com/pinard/p/6638955.html http://www.cnblogs.com/pin...转载 2018-09-23 17:00:54 · 1262 阅读 · 0 评论 -
逻辑回归损失函数与最大似然估计
机器学习的损失函数是人为设计的,用于评判模型好坏(对未知的预测能力)的一个标准、尺子,就像去评判任何一件事物一样,从不同角度看往往存在不同的评判标准,不同的标准往往各有优劣,并不冲突。唯一需要注意的就是最好选一个容易测量的标准,不然就难以评判了。其次,既然不同标准并不冲突,那使用最小二乘作为逻辑回归的损失函数当然是可以,那这里为什么不用最小二乘而用最大似然呢?请看一下最小二乘作为损失函数的函数...转载 2018-09-07 10:48:53 · 3501 阅读 · 0 评论 -
SVM从原始问题到对偶问题的转换及原因
1、转化对偶问题上篇博客中我们得到的目标函数:(1)我们在优化时喜欢求最小值,将上式转化正等价的求最小值如下: (2)对于(2)式,这是一个凸二次规划问题,我们可以使用拉格朗日乘数法进行优化。 (3)(3)式中的是拉格朗日乘子,然后我们令: (4)为什么能这样假设呢?如果约束条件都满足,(4)式的最优...原创 2018-10-13 13:34:59 · 17508 阅读 · 7 评论 -
Logistic Regression理论总结
简述:1. LR 本质上是对正例负例的对数几率做线性回归,因为对数几率叫做logit,做的操作是线性回归,所以该模型叫做Logistic Regression。2. LR 的输出可以看做是一种可能性,输出越大则为正例的可能性越大,但是这个概率不是正例的概率,是正例负例的对数几率。3. LR的label并不一定要是0和1,也可以是-1和1,或者其他,只是一个标识,标识负例和正例。4....转载 2018-08-31 21:51:29 · 469 阅读 · 0 评论 -
非线性优化-拟牛顿法L-BFGS(6)
转载 2018-09-22 18:52:46 · 333 阅读 · 0 评论 -
非线性优化-几种优化方法的比较(1)
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题,比如每个企业和个人都要考虑的一个问题“在一定成本下,如何使利润最大化”等。最优化方法是一种数学方法,它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入,博主越来越发现最优化方法的重要性,学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解,比如我们现在学习的机器学习算法...转载 2018-09-22 18:55:20 · 29194 阅读 · 1 评论 -
奇异值分解(SVD)原理详解
一、奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧: 1)特征值: 如果说一个向量v是方阵A的特征向量,将一定可以表示成下面的形式: 这时候λ就被称为特征向量v对应的特征转载 2017-02-07 14:07:46 · 98837 阅读 · 20 评论 -
拉格朗日对偶性
在约束优化问题中,常常用拉格朗日对偶性来将原始问题转为对偶问题,通过解对偶问题的解来得到原始问题的解。 1 为什么要利用对偶?首先要明确,对偶问题的解不一定直接等于原问题的解(弱对偶),但是,对偶问题有两点性质。1.1 满足某些条件时,对偶问题直接等于原问题的解(强对偶)1.2 无论原始问题是否是凸的,对偶问题都是凸优化问题显然,在某些情况下,直接对对偶问题求解可以得到原问...转载 2018-11-21 15:06:14 · 352 阅读 · 0 评论 -
拉格朗日乘子法和KKT条件
1 无约束优化对于无约束优化问题中,如果一个函数f是凸函数,那么可以直接通过f(x)的梯度等于0来求得全局极小值点。为了避免陷入局部最优,人们尽可能使用凸函数作为优化问题的目标函数。凸集定义:欧式空间中,对于集合中的任意两点的连线,连线上任意一点都在集合中,我们就说这个集合是凸集。凸函数定义:对于任意属于[0,1]的a和任意属于凸集的两点x, y,有f( ax + (1-a)y ...转载 2018-11-21 15:03:46 · 928 阅读 · 1 评论 -
LR和SVM区别
1)为什么将LR和SVM放在一起来进行比较?回答这个问题其实就是回答LR和SVM有什么相同点。第一,LR和SVM都是分类算法。看到这里很多人就不会认同了,因为在很大一部分人眼里,LR是回归算法。我是非常不赞同这一点的,因为我认为判断一个算法是分类还是回归算法的唯一标准就是样本label的类型,如果label是离散的,就是分类算法,如果label是连续的,就是回归算法。很明显,LR的训练...原创 2018-10-10 22:03:18 · 4869 阅读 · 0 评论 -
坐标轴下降法(解决L1正则化不可导的问题)
设lasso回归的损失函数为: 其中,n为样本个数,m为特征个数。 由于lasso回归的损失函数是不可导的,所以梯度下降算法将不再有效,下面利用坐标轴下降法进行求解。坐标轴下降法和梯度下降法具有同样的思想,都是沿着某个方向不断迭代,但是梯度下降法是沿着当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向。...原创 2018-10-13 16:30:29 · 7601 阅读 · 2 评论 -
PCA(主成成分分析)和LDA(线性判别分析)详解-共性和区别
原创 2018-10-13 16:02:33 · 931 阅读 · 0 评论 -
卡方检验和卡方分布
什么是卡方检验卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴,主要是比较两个及两个以上样本率( 构成比)以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。它在分类资料统计推断中的应用,包括:两个率或两个构成比比较的卡方检验;多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。例子1:四格卡方检验以下为一个...原创 2018-10-13 15:36:35 · 29513 阅读 · 0 评论 -
决策树模型 ID3/C4.5/CART算法比较
决策树模型在监督学习中非常常见,可用于分类(二分类、多分类)和回归。虽然将多棵弱决策树的Bagging、Random Forest、Boosting等tree ensembel 模型更为常见,但是“完全生长”决策树因为其简单直观,具有很强的解释性,也有广泛的应用,而且决策树是tree ensemble 的基础,值得好好理解。一般而言一棵“完全生长”的决策树包含,特征选择、决策树构建、剪枝三个过程...原创 2018-10-12 16:40:04 · 1001 阅读 · 0 评论 -
样本不平衡会对SVM的影响
样本不平衡会对SVM的影响假设正类样本远多于负类1、线性可分的情况假设真实数据集如下: 由于负类样本量太少,可能会出现下面这种情况使得分隔超平面偏向负类。严格意义上,这种样本不平衡不是因为样本数量的问题,而是因为边界点发生了变化2、线性不可分的情况源数据以及理想的超平面情况如下:很可能由于负类样本太少出现以下这种情况,超平面偏向负类 解决不...转载 2018-10-12 16:27:56 · 6865 阅读 · 0 评论 -
非线性优化-拉格朗日乘数法(8)
1. 拉格朗日乘数法的基本思想 作为一种优化算法,拉格朗日乘子法主要用于解决约束优化问题,它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有(n+k)个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。 如何将一个含有n个变量和k个约束条件的约束优化问题转化为含有(n+k)个变量的无约束优化问题?拉格朗日...转载 2018-09-22 19:21:04 · 1791 阅读 · 0 评论 -
非线性优化-共轭梯度法(7)
转载 2018-09-22 19:07:28 · 3978 阅读 · 1 评论 -
如何解决样本不均衡问题
解决样本不均衡的问题很多,主流的几个如下:1.样本的过采样和欠采样。2..使用多个分类器进行分类。3.将二分类问题转换成其他问题。4.改变正负类别样本在模型中的权重。 一、样本的过采样和欠采样。1.过采样:将稀有类别的样本进行复制,通过增加此稀有类样本的数量来平衡数据集。该方法适用于数据量较小的情况。2.欠抽样:从丰富类别的样本中随机选取和稀有类别相同数目的样...原创 2018-08-28 11:27:15 · 2462 阅读 · 0 评论