![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 79
FSilverBullet
cin >> Mydream
cout << big boss
展开
-
SVM(一) 拉格朗日乘子法 与 KKT条件
支持向量机(SVM),非常的神秘而众所周知的名字,其出来就受到了很大的追捧,号称最优秀的算法之一,简单地理论构造了复杂的算法,简单地用法实现了复杂的问题,一个词形容就是perfect!本文旨在从基础出发,实例化的形式一探SVM的究竟。现在网上分析讲解SVM的博文多不胜数,当然对于那些基础好的一看就懂,但对于我这种渣渣来说看一遍也只能浅薄的了解,过两天又忘了公式的缘由。比如说,在研究SVM之前你是...原创 2018-06-12 16:25:36 · 1253 阅读 · 0 评论 -
SVM (二)SVM理论基础
SVM的理论基础上面我们讨论了关于拉格朗日乘子法和KKT条件,下面我们讨论一下SVM的一些基础概念。我们从一个简单地二分类问题来看,给定训练样本集合\( D =\{(x_1,y_1), (x_2,y_2),…, (x_m, y_m)\}, y_i \ \epsilon \ \{-1, +1\}\)如下图所示:分类学习最基本的思想就是找到一个超平面将不同的类别分开,因此我们希望找一个决策面使得两个...原创 2018-06-13 21:57:01 · 735 阅读 · 0 评论 -
SVM (四) 软间隔和正则化
\begin{equation}L(W, b, \xi, \alpha, \mu) =\frac{1}{2}||W||^2 + C \sum_{i=1}^{m} \xi_i - \sum_{i=1}^{m} \alpha_i [ y_i (W^T x_i + b) - 1 +\xi_i] - \sum_{i=1}^{m} \mu_i \xi_i \end{equation}原创 2018-07-01 11:19:27 · 2237 阅读 · 0 评论 -
SVM(三) 核函数
今天我们讲解一下SVM的核函数,那么什么是核函数呢?假设我们有这样一个式子:\begin{equation}\begin{split}h_\theta (x_1, x_2) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \theta_3 x{_1^2} + \theta_4 x_2^2\end{split}\end{equation}我们令 \( x_3...原创 2018-06-26 20:34:05 · 2372 阅读 · 0 评论 -
SVM (五)SMO算法
在之前的文章里面,我们优化的目标函数最终都是关于\(\alpha\)向量的函数。而怎么极小化这个函数,求出对应的\(\alpha\)向量,进而求出分类超平面,我们并不知道,只是提了一下解决的方法SMO。本篇就对优化这个关于\(\alpha\)向量的函数SMO算法做一个总结。1.回顾SVM的优化目标函数\begin{equation}\begin{split}min\ \frac{1}{2}\ \...原创 2018-07-06 22:21:33 · 260 阅读 · 0 评论 -
极大似然估计和最大熵模型
极大似然估计 极大似然估计是建立在极大似然基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如若有若干个可能的结果A,B,C,...,若在一次试验中,A出现了,那么可以认为试验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面的例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球,99个黑球。现在随机取出一箱,再从抽取的一箱中随机取出一球,结果是...原创 2018-12-07 23:23:12 · 3009 阅读 · 2 评论 -
EM算法
现在班级里有50个男生,50个女生,且男生站左,女生站右。我们假定男生的身高服从正态分布 \(N(\mu _{1},\sigma _{1}^{2}))\),女生的身高服从另一个正态分布:\(N(\mu _{2},\sigma _{2}^{2}))\)。这时候我们可以利用极大似然法(MLE),分别通过这50个男生和50个女生的样本来估计这两个正太分布的参数。但是现在,我们让这50个男生50个女生混在...原创 2018-12-08 15:13:41 · 451 阅读 · 0 评论 -
决策树(一)
决策树(Decesion Tree)是一个树结构(可以是二叉树或非二叉树)其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到达到叶子节点,将叶子节点存放的类别作为决策结果。总结来说,决策树模型核心是下面几部分:- 结点和有向边组成...原创 2018-12-11 19:45:40 · 260 阅读 · 0 评论