机器学习
文章平均质量分 61
潮生明月
西安电子科技大学研究生
展开
-
偏差-方差均衡
在回归问题中,如曲线拟合问题,样本(x,t),对于每个输入x,对t值进行估计为y(x)。假设这样做,造成了一个损失L(t,y(x))。平均损失就是一个常用的损失函数是平方损失这种情况下,平均损失函数可以写成,平均损失函数对y(x)求导,并让导数等于0,求得y(x)。这是在x的条件下t的条件均值,称为回归函数。在这种情况下,最优解是条件均值。我么可以把平方项按照下面的原创 2016-03-03 10:20:50 · 4044 阅读 · 0 评论 -
最大熵学习笔记(六)优缺点分析
最大熵模型转载 2016-10-20 19:31:32 · 1509 阅读 · 0 评论 -
改进的迭代尺度法(IIS)详解
改进的迭代尺度法原创 2016-10-20 20:10:45 · 5715 阅读 · 4 评论 -
最大熵学习笔记(零)目录和引言
最大熵转载 2016-10-20 15:44:11 · 445 阅读 · 0 评论 -
先验概率,后验概率,似然概率,条件概率,贝叶斯,最大似然
先验概率,后验概率,似然概率,条件概率,贝叶斯,最大似然 总是搞混,这里总结一下常规的叫法:先验概率:事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(x),P(y)。后验概率:事件发生后求的反向条件概率;或者说,基于先验概率求得的反向条件概率。概率形式与条件概率相同。条件概率:一个事件发生后另一个事件发生的概率。一般的形式为转载 2016-12-25 17:37:14 · 840 阅读 · 0 评论 -
评价分类器的性能
1、准确率–0/1损失 对于一个特定的测试点,损失或者为0或者为1,取决于预测是正确还是错误的。显然,这个值越低越好。 不足: (1)、如何评价这个量不容易,如0.2怎么样? (2)、对于类别数据不平衡的数据,如80%是类别一,20%是类别2,如果我们总 是将对象归为类别1,却也能得到0.2的平均损失。下面介绍一个克服这个问题的方法。2、原创 2017-02-26 12:06:45 · 3563 阅读 · 0 评论 -
梯度提升树(GBDT)原理
在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称,有GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting ), GBRT转载 2017-06-23 18:19:15 · 1001 阅读 · 0 评论 -
极大似然估计 最大后验概率估计
经验风险最小化 结构风险最小化转载 2017-07-09 23:22:11 · 1759 阅读 · 0 评论 -
XGBoost 与 Boosted Tree
xgboost与GDBT转载 2017-08-07 17:13:43 · 704 阅读 · 0 评论 -
机器学习常见算法总结
机器学习常见算法个人总结转载 2017-08-03 11:34:15 · 819 阅读 · 1 评论 -
最大熵学习笔记(五)最优化算法
最大熵模型 优化算法转载 2016-10-20 19:28:48 · 790 阅读 · 0 评论 -
最大熵学习笔记(四)模型求解
最大熵模型转载 2016-10-20 19:13:58 · 494 阅读 · 0 评论 -
最大熵学习笔记(三)最大熵模型
最大熵模型转载 2016-10-20 16:02:51 · 940 阅读 · 0 评论 -
PCA原理以及为何要使用协方差矩阵
一、数理统计公式均值:表示样本的平均特征。但是无法表示样本之间的差异,所以就有了。方差:以及标准差:协方差用于表示两个样本参数之间的相似度协方差:。从公式上来看,协方差的结果是先求"参数x”与"参数x的均值"之间的之间的差,以及"参数y"和"参数y的均值"之间的差,表达了两个参数xy之间的差异程度。 协原创 2015-12-03 10:53:17 · 6242 阅读 · 0 评论 -
随机森林
机器学习算法–随机森林 (原文) http://www.cnblogs.com/wentingtu/archive/2011/12/22/2297405.html 这里是截取曾经发表的http://www.cnblogs.com/wentingtu/archive/2011/12/13/2286212.html中一些内容基础内容:这里只是准备简单谈谈基础的内容,主要参考一下别人的文章,对于随机转载 2015-11-16 22:46:31 · 374 阅读 · 0 评论 -
Boosting分类器
(原文)http://blog.csdn.net/liulina603/article/details/8632934转载 2015-11-16 22:16:54 · 11404 阅读 · 1 评论 -
最大似然估计
转自http://www.ccthere.com/article/1522559 最大似然法,英文名称是Maximum Likelihood Method,在统计中应用很广。这个方法的思想最早由高斯提出来,后来由菲舍加以推广并命名。转载 2016-03-03 14:52:11 · 433 阅读 · 0 评论 -
机器学习实战(1)-KNN(K-近邻算法)
KNN(K-近邻算法):算法本身是一个有监督学习的算法,故训练数据是有标签的,算法的原理是计算测试数据距离训练数据的距离(一般是欧式距离),将计算出的距离进行从小到大的排序,取前K个距离对应的训练数据,计算这K个数据中不同标签所占比例,比例最高的标签即为测试数据所属于的类。原创 2016-03-17 16:25:58 · 869 阅读 · 0 评论 -
机器学习实战(2)-决策树
机器学习 决策树原创 2016-03-20 16:39:46 · 640 阅读 · 0 评论 -
机器学习--BP神经网络的C++实现
激活函数:Sigmoid 使用的是周志华老师的《机器学习》一书上的更新公式。 #include <iostream>#include <cstdlib>#include <ctime>#include <cmath>using namespace std;#define innode 3 //输入结点数 #define outnode 1 //输出结点数 #define原创 2016-06-06 23:55:57 · 1776 阅读 · 0 评论 -
最大熵学习笔记(一)预备知识
最大熵模型转载 2016-10-20 15:57:12 · 652 阅读 · 0 评论 -
最大熵学习笔记(二)最大熵原理
最大熵原理转载 2016-10-20 15:59:14 · 820 阅读 · 0 评论 -
CART分类与回归树与GBDT(Gradient Boost Decision Tree)
CART分类与回归树与GBDT(Gradient Boost Decision Tree)转载 2017-08-05 21:51:17 · 7168 阅读 · 0 评论