![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础知识整理
SilenceHell
学生,希望能在csdn上学到知识。
展开
-
奇异值分解的物理意义
转载自知乎:https://www.zhihu.com/question/22237507矩阵的奇异值是一个数学意义上的概念,一般是由奇异值分解(Singular Value Decomposition,简称SVD分解)得到。如果要问奇异值表示什么物理意义,那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。下面先尽量避开严格的数学符号推导,直观的从一张图片出发,让我们来看看奇异值代表什么...转载 2019-06-11 09:44:40 · 6102 阅读 · 1 评论 -
XGBoost原理
转载于:https://www.cnblogs.com/zhouxiaohui888/p/6008368.html1.背景关于xgboost的原理网络上的资源很少,大多数还停留在应用层面,本文通过学习陈天奇博士的PPT地址和xgboost导读和实战 地址,希望对xgboost原理进行深入理解。2.xgboost vs gbdt说到xgboost,不得不说gbdt。了解gbdt可以...转载 2019-02-22 11:33:06 · 187 阅读 · 0 评论 -
xgboost中XGBClassifier()参数详解
转载于:https://www.cnblogs.com/pengwang52/p/9623093.htmlhttp://www.cnblogs.com/wanglei5205/p/8579244.html常规参数booster gbtree 树模型做为基分类器(默认) gbliner 线性模型做为基分类器silent silent=0时,不输出中间过程(默认) ...转载 2019-02-22 11:35:17 · 939 阅读 · 0 评论 -
理解Hinge Loss (折页损失函数、铰链损失函数)
转载于:https://blog.csdn.net/fendegao/article/details/79968994 Hinge Loss 是机器学习领域中的一种损失函数,可用于“最大间隔(max-margin)”分类,其最著名的应用是作为SVM的目标函数。 在二分类情况下,公式如下: L(y) = max(0 , 1 – t⋅...转载 2019-02-24 13:55:26 · 1072 阅读 · 0 评论 -
信息量与信息熵
转载于:https://blog.csdn.net/hearthougan/article/details/76192381 距离有近有远,时间有长有短,温度有高有低,我们知道可以用米或者千米来度量距离,用时分秒可以来度量时间的长短,用摄氏度或者华氏度来度量温度的高低,那么我们常说这句话信息多,那句话信息少,那么信息的多少用什么度量呢?信息量! ...转载 2019-02-24 15:07:08 · 686 阅读 · 0 评论 -
交叉熵在在loss函数中的作用
转载于:https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用起来也比较方便。最近开始研究起对抗生...转载 2019-02-24 15:18:41 · 279 阅读 · 0 评论 -
softmax函数
转载于:https://blog.csdn.net/hearthougan/article/details/82706834 Softmax函数Softmax是将神经网络得到的多个值,进行归一化处理,使得到的值在之间,让结果变得可解释。即可以将结果看作是概率,某个类别概率越大,将样本归为该类别的可能性也就越高。Softmax就如下图(借鉴李宏毅老师的课件)S...转载 2019-02-24 15:22:31 · 285 阅读 · 0 评论 -
CBDT算法
转载于:https://blog.csdn.net/zpalyq110/article/details/79527653本人理解:1.由于使用平方误差作为损失函数,所以每次的负梯度方向为上一次最有分类器与原数据标签的残差,所以每次的若分类器都是针对残差进行训练的。2.每次的弱分类器并不要求结构是相同的,因为最后对分类器进行合并时只是将最后他们的结果 合并求解而不要求将他们的结构也合并成新的一棵...转载 2019-06-26 10:45:14 · 1393 阅读 · 0 评论 -
adboost详解
转载贴:但是文章转载出错,所以只贴链接。链接:https://www.cnblogs.com/ScorpioLu/p/8295990.html转载 2019-06-26 14:44:49 · 303 阅读 · 0 评论 -
ROC中AUC的计算方法
转载于:https://blog.csdn.net/qq_22238533/article/details/78666436摘要:在机器学习的分类任务中,我们常用许多的指标,诸如召回率(Recall)、准确率(Precision)、F1值、AUC等。那么,如果手动计算AUC应该要怎么计算呢?相信大家很多时候都是用写好的库直接计算,可能对AUC计算不太了解,下面这篇文章就简单的概述一下AUC...转载 2019-06-26 16:55:26 · 2152 阅读 · 0 评论 -
训练集,验证集和测试集
转载于:https://www.cnblogs.com/WayneZeng/p/7802759.html在有监督(supervise)的机器学习中,数据集常被分成2~3个即:训练集(train set) 验证集(validation set) 测试集(test set) 一般需要将样本分成独立的三部分训练集(train set),...转载 2018-11-16 17:38:02 · 1168 阅读 · 0 评论 -
类别不平衡值过采样方法之
链接:https://www.cnblogs.com/Determined22/p/5772538.html转载出现问题,贴链接,祈祷作者不要删除。转载 2018-11-16 16:27:44 · 591 阅读 · 0 评论 -
雅克比矩阵的应用实例
转载自:http://www.cnblogs.com/caster99/p/4725914.html?utm_source=tuicool&utm_medium=referral 说到逆运动学(IK),其中最重要的一部分就是利用雅克比矩阵表示目标状态和变量组之间的关系。具体文献参考“Introduction to Inverse Kinematics with Jacobi...转载 2018-08-31 19:35:39 · 12323 阅读 · 0 评论 -
EM算法
知识只有在不断的实践和反复的学习中才会成为自己的东西,这不之前看懂的EM几个月不用马上就忘记了,下面转载一篇觉得不错的文章方便自己复习。转载于:http://www.cnblogs.com/90zeng/p/EM_algorithm_theory.html EM算法原理详解 1.引言以前我们讨论的概率模型都是只含观测变量(observable va...转载 2018-11-13 16:23:42 · 216 阅读 · 0 评论 -
因子分析(Factor analysis)
本文转载于:https://www.cnblogs.com/90zeng/p/Factor_analysis_model.html 因子分析(Factor analysis) 1.引言 在高斯混合和EM算法中,我们运用EM算法拟合混合模型,但是我们得考虑得需要多少的样本数据才能准确识别出数据中的多个高斯模型!看下面两种情况的分析:第一种...转载 2018-11-13 16:50:14 · 1123 阅读 · 0 评论 -
PCA降维
转载于:https://www.cnblogs.com/mikewolf2002/p/3429711.html注:转载过来格式啥的有很多问题,希望大家原贴,转载的原因是怕原贴没了。 PCA的数学原理 原帖地址:http://blog.codinglabs.org/articles/pca-tutorial.html PCA(Principal C...转载 2018-11-13 18:01:51 · 193 阅读 · 0 评论 -
ICA(独立成分分析)(2)
转载于:https://blog.csdn.net/u012421852/article/details/80500940 版权声明:本文为博主原创文章,未经博主允许不得转载,转载请注明文章来源,联系方式:vipsummer@139.com https://blog.csdn.net/u012421852/article/details/80500940 ...转载 2018-11-15 15:57:40 · 12699 阅读 · 1 评论 -
ICA(独立成分分析)(1)
转载于:https://blog.csdn.net/u012421852/article/details/80500891 版权声明:本文为博主原创文章,未经博主允许不得转载,转载请注明文章来源,联系方式:vipsummer@139.com https://blog.csdn.net/u012421852/article/details/80500891 ...转载 2018-11-15 15:08:38 · 1045 阅读 · 0 评论 -
高斯混合模型
由于转载有问题,所以这里只贴链接,希望原作者不会删除吧。链接:https://blog.csdn.net/jinping_shi/article/details/59613054转载 2018-11-15 11:05:03 · 133 阅读 · 0 评论 -
梯度消失和梯度爆炸
转载于:https://blog.csdn.net/huangfei711/article/details/79865054目前优化神经网络的方法都是基于反向传播的思想,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。这样做是有一定原因的,首先,深层网络由许多非线性层堆叠而来,每一层非线性层都可以视为是一个非线性函数 f(x)f(x) 我们最终的目的是希望这个多元...转载 2019-06-26 17:13:28 · 180 阅读 · 0 评论