![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
lirika_777
电脑版发挥稳定户外活动五大湖文化等我回去丢和我ID不请我IDUI我去打吧
展开
-
极大似然估计
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: 其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,并且它属于某一类别的概率,有了这...转载 2018-03-23 10:14:16 · 204 阅读 · 0 评论 -
K-means学习进阶以及它与EM的关系
K-means聚类算法 K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。 聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM等都是有类别标签y的,也就是说样例中已经给出了样例的分类。而聚类的样本中却没有...转载 2018-07-03 16:11:00 · 188 阅读 · 0 评论 -
粗糙集合论
粗糙集合论回答了上面的这些问题。要想了解粗糙集合论的思想,我们先要了解一下什么叫做知识?假设有8个积木构成了一个集合A,我们记:A={x1,x2,x3,x4,x5,x6,x7,x8},每个积木块都有颜色属性,按照颜色的不同,我们能够把这堆积木分成R1={红,黄,兰}三个大类,那么所有 红颜色的积木构成集合X1={x1,x2,x6}, 黄颜色的积木构成集合X2={x3,x4...转载 2018-06-27 16:20:05 · 823 阅读 · 1 评论 -
xgboost原理
1.序 距离上一次编辑将近10个月,幸得爱可可老师(微博)推荐,访问量陡增。最近毕业论文与xgboost相关,于是重新写一下这篇文章。 关于xgboost的原理网络上的资源很少,大多数还停留在应用层面,本文通过学习陈天奇博士的PPT、论文、一些网络资源,希望对xgboost原理进行深入理解。(笔者在最后的参考文献中会给出地址)2.xgboost vs gbdt 说到xgboost,不得不说g...转载 2018-06-20 17:30:28 · 194 阅读 · 0 评论 -
Boosted Tree:一篇很有见识的文章
作者:陈天奇,毕业于上海交通大学ACM班,现就读于华盛顿大学,从事大规模机器学习研究。注解:truth4sex 编者按:本文是对开源xgboost库理论层面的介绍,在陈天奇原文《梯度提升法和Boosted Tree》的基础上,做了如下注解:1)章节划分;2)注解和参考链接(以蓝色和红色字体标注)。备注:图片可点击查看清晰版。1. 前言应 @龙星镖局 兄邀请写这篇文章。作为一个非常有效的机器学习方...原创 2018-06-20 17:20:56 · 535 阅读 · 0 评论 -
Relief(Relevant Features)是著名的过滤式特征选择方法
Relief(Relevant Features)是著名的过滤式特征选择方法,Relief 为一系列算法,它包括最早提出的 Relief 以及后来拓展的 Relief-F 和 RRelief-F ,其中最早提出的 Relief 针对的是二分类问题,RRelief-F 算法可以解决多分类问题,RRelief-F 算法针对的是目标属性为连续值的回归问题。1、原始的 Relief 算法 最早提出的...转载 2018-06-30 11:06:58 · 3929 阅读 · 0 评论 -
【模式识别】感知器 Perceptron
基本概念线性可分:在特征空间中可以用一个线性分界面正确无误地分开两 类样本;采用增广样本向量,即存 在合适的增广权向量 a 使得:则称样本是线性可分的。如下图中左图线性可分,右图不可分。所有满足条件的权向量称为解向量。权值空间中所有解向量组成的区域称为解区。通常对解区限制:引入余量b,要求解向量满足: 使解更可靠(推广性更强),防止优化算法收敛到解区的边界。感知准则函数及求解对于权向量a,如果某个...转载 2018-06-15 12:38:22 · 464 阅读 · 0 评论 -
【机器学习】SVR支持向量机回归
回归和分类从某种意义上讲,本质上是一回事。SVM分类,就是找到一个平面,让两个分类集合的支持向量或者所有的数据(LSSVM)离分类平面最远;SVR回归,就是找到一个回归平面,让一个集合的所有数据到该平面的距离最近。 我们来推导一下SVR。根据支持向量机二分类博客所述,数据集合归一化后,某个元素到回归平面的距离为r=d(x)−g(x)r=d(x)−g(x)。另外,由于数据不可能都在回归平面上,距...转载 2018-05-28 15:03:13 · 1083 阅读 · 0 评论 -
二次规划
二次规划问题 是一种典型的优化问题,包括凸二次规划和非凸二次规划,在此类问题中,目标函数是变量的二次函数,约束条件是变量的线性不等式。假定变量的个数为dd,约束条件的个数为mm,则标准的二次规划问题形如:minxs.t.12xTQx+cTxAx⩽bminx12xTQx+cTxs.t.Ax⩽b其中xx为dd维向量,Q∈Rd×dQ∈Rd×d为实对称矩阵,A∈Rm×dA∈Rm×d为实矩阵,...转载 2018-04-12 09:31:50 · 2505 阅读 · 0 评论 -
矩阵求偏导
原创 2018-03-21 21:33:28 · 51342 阅读 · 11 评论 -
监督学习之Logistic regression——Andrew Ng机器学习笔记(二)
- 介绍欠拟合和过拟合的概念 - 从概率的角度解释上一篇博客中评价函数J(θ)J(θ)为什么用最小二乘法 - 局部加权线性回归(Locally Weighted Linear Regression (LWR)) - 逻辑回归(Logistic regression) - 感知器学习算法(The perceptron learning algorithm)欠拟合与过拟合我觉得欠拟合和过拟合都是从拟合...转载 2018-03-14 16:22:35 · 188 阅读 · 0 评论 -
NLP数据集下载地址(转)
图像分类领域1)MNIST经典的小型(28x28 像素)灰度手写数字数据集,开发于 20 世纪 90 年代,主要用于测试当时最复杂的模型;到了今日,MNIST 数据集更多被视作深度学习的基础教材。fast.ai 版本的数据集舍弃了原始的特殊二进制格式,转而采用标准的 PNG 格式,以便在目前大多数代码库中作为正常的工作流使用;如果您只想使用与原始同样的单输入通道,只需在通道轴中选取单...转载 2019-10-07 09:14:00 · 1344 阅读 · 0 评论