机器学习
文章平均质量分 53
千君一发
这个作者很懒,什么都没留下…
展开
-
关于 LambdaMART 的六个疑惑
目录前言LAMBDAMART的由来LAMBDAMART的原理要点总结前言工作的关系,最近接触到lambdamart算法,通过查资料、学习、读代码,对该算法有了一定程度的理解,因此以笔记的形式记录在这里。一家之言,结论不一定可靠,欢迎网友留言讨论。LAMBDAMART的由来LAMBDAMART的原理要点总结...原创 2020-07-25 20:17:47 · 1952 阅读 · 2 评论 -
为什么L1稀疏L2平滑?
两种解释————————————1、从L1和L2的来源看当你想从一个手头的数据集中学习出一套规则时,贝叶斯学派认为仅仅使用这些数据是不够的,还需要加入先验知识。如果你在损失函数中使用了L1正则项,那么其实质就是加入了拉普拉斯先验分布,即认为数据是符合拉普拉斯分布的;如果你使用了L2正则项,那么就是加入了高斯先验分布,即认为数据是符合高斯分布的。一般由于推导和计算方便,会对分布函数取原创 2017-08-28 16:06:22 · 6416 阅读 · 4 评论 -
机器学习笔记——无监督学习
1、有啥用?2、聚类(1)K-Means(2)HAC-分层聚类2、降维(1)PCAPCA的另一种解释与SVD的关系与自动编码的关系PCA的缺点SVD学习预测SVD升级版本SVD的应用其他相关技术原创 2017-08-25 16:16:52 · 437 阅读 · 0 评论 -
深入理解朴素贝叶斯(Naive Bayes)
朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单,也很容易实现,多用于文本分类,比如垃圾邮件过滤。该算法虽然简单,但是由于笔者不常用,总是看过即忘,这是写这篇博文的初衷。当然,更大的动力来在于跟大家交流,有论述不妥的地方欢迎指正。原创 2017-07-27 10:48:51 · 92190 阅读 · 13 评论 -
SVM松弛变量解读
1.松弛变量反映了SVM模型对野点的容忍程度,只有野点有对应的松弛变量。也就是说,软间隔的SVM允许部分样本点分类错误来换取模型更强的泛化能力。2.松弛变量本质是个变量,而且不能小于0。软间隔SVM为其配备了惩罚参数C。C越大意味着松弛变量要越小,对野点容忍度更低;C越小则模型允许更多的野点分类错误。3.SVM处理非线性可分问题除了引入松弛变原创 2017-07-25 10:40:04 · 4085 阅读 · 0 评论 -
机器学习笔记——半监督学习
1、简介2、半监督生成模型具体的为什么呢3、低密度分割例1例2例34、平滑假设实际应用例子实现方法1实现方法25、寻找更好的表达原创 2017-08-25 10:01:27 · 438 阅读 · 0 评论 -
机器学习笔记——集成学习
1、什么时候用集成学习?集成学习有利于减少模型方差,因此当模型复杂度复杂度太高时可以用集成学习方法参加kaggle等比赛的时候2、bagging和boosting的基学习器有一样的特点?bagging的基学习器更强一些,它们学习的对象都是目标任务,最终的预测模型是直接拿子模型的决策结果投票或者做平均;boosting的基学习器更弱一些,可以说是非常弱,它们学习的都只是目标任务的一部原创 2017-08-24 19:50:38 · 342 阅读 · 0 评论 -
机器学习笔记——逻辑回归
决策函数:sigmoid损失函数:cross-entropy为什么不用平方误差做损失函数?因为我们希望接近最优解的地方梯度小,而远离最优解的地方梯度大。从下图可以看出来,平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项,线性回归使用平方误差就没有这个问题。逻辑回归的原创 2017-08-18 19:35:22 · 648 阅读 · 0 评论 -
机器学习笔记——概率生成模型
假设有两类数据,每一类都有若干个样本;概率生成模型认为每一类数据都服从某一种分布,如高斯分布;从两类训练数据中得到两个高斯分布的密度函数,具体的是获得均值和方差两个参数;测试样本输入到其中一个高斯分布函数,得到的概率值若大于0.5,则说明该样本属于该类,否则属于另一类。 算法的核心在于获取分布函数的两个参数。具体的做法是:利用训练数据,构造似然函数,使得该似然函数最大的参数即为所求。事实原创 2017-08-18 16:44:03 · 9669 阅读 · 3 评论 -
最大似然估计,高斯分布,高斯混合模型,EM算法
1、最大似然估计似然的概念与概率类似,但是又很不相同。假如随机变量X服从某种分布(比如高斯分布),概率是指在给定参数(均值,方差)的条件下,X=x的可能性;而似然则指X=x的条件下,某一组参数反映了X=x的真实性大小。最常见的应用是最大似然估计。假设有N个数据点,服从某种分布Pr(x;θ),我们想找到一组参数θ,使得生成这些数据点的概率最大,这个概率就是称为似然函数(Lilel原创 2017-08-09 16:18:22 · 10040 阅读 · 0 评论 -
pycharm下安装opencv3到anaconda2
1.安裝opencv3到anaconda2(1)Windows下—— 下载opencv2並解压缩,将 \opencv\build\python\2.7\x64\下的cv2.pyd拷贝到Anaconda2的 \Anaconda2\Lib\site-packages目录下即可。 (2)Ubuntu16.04下——打開pycharm,進入終端,輸入命令:conda install -c原创 2017-07-13 18:04:35 · 508 阅读 · 0 评论 -
正态分布/BP算法—笔记
1.为什么正太分布在自然界如此常见?(1)n个独立同分布随机变量,根据中心极限定律,当n趋于无穷时,其平均值服从正太分布(高斯分布)。一个指标受到若干因素影响,但是单个因素又对指标构不成决定性影响,则该指标服从中心极限定律,收敛与正太分布——林徳伯格-费勒中心极限定理。(2)正太分布的信息墒最大(3)统计学三大分布:卡方分布,t分布,f分布都与正太分布有关(4)Everyone b原创 2017-07-03 09:30:01 · 1330 阅读 · 0 评论