Machine Learning
FaaronZheng
QQ:617862169
展开
-
在matlab环境下实现支持向量机算法
关于支持向量机的理论部分我就不进行介绍了,网上有很多关于支持向量机的讲解。如: 支持向量机通俗导论(理解SVM的三层境界)有兴趣的可以自行查找一下。这里我主要介绍一下如何在matlab环境下自己实现支持向量机算法。需要用到的工具:matlab,cvx工具包 首先需要配置一下cvx的环境。cvx的配置和具体语法请参考 CVX Users’ Guide。cvx工具包和手册 接下来我们直原创 2015-11-21 12:55:07 · 6879 阅读 · 0 评论 -
稀里糊涂的概率
对于一个离散型随机变量X,X的可能取值为{x1,x2,x3,…}。为了表示全部概率(即1)在可能集上{x1,x2,x3,…}的分布情况,即概率分布。引入了下面两个概念。对于一个离散型随机变量X,X的可能取值为{x1,x2,x3,…} 则: P(X=xi)=pi, i=1,2,3,… 称为X的概率函数,同时,上式表示了随机变量在不同取值下的概率,也称为概率质量函数(PMF, probab原创 2016-10-09 17:26:40 · 631 阅读 · 0 评论 -
梯度下降法和梯度的关系
关于梯度下降法不做解释,网上有很多讲解。 这里只讨论梯度下降法和梯度之间的关系,先让我们了解一下导数、偏导数、方向导数、和梯度的概念。导数:定义就不讲了,含义:一元函数在某一点的导数描述了这个函数在这一点附近的变化率。几何意义:一元函数曲线在这一点的斜率。偏导数:针对多元函数而言,一个多元函数的偏导数,就是它关于其中一个变量的导数而保持其他变量恒定(沿某一坐标轴方向的导数)。方向导数:每一个变量的原创 2016-09-27 16:36:04 · 2174 阅读 · 0 评论 -
最小二乘
先上结论:在我看来,最小二乘可以分为最小二乘策略和最小二乘法。最小二乘策略是求误差的最小平方和,对应两种情况:线性和非线性。线性情况下的解是closed-form solution(通过最小二乘法求得,这种情况下可以找到全局最优解)。而非线性的情况没有closed-form solution,通常用迭代法求解(如梯度下降法)。可以看出,最小二乘策略更倾向于是一个优化问题,那么最小二乘法和梯度下原创 2016-09-26 13:20:12 · 1906 阅读 · 1 评论 -
逻辑回归
逻辑回归解决的其实是一个两类分类问题。假设这个问题满足伯努利分布。原创 2016-09-29 22:00:30 · 827 阅读 · 0 评论 -
基于k近邻(KNN)的手写数字识别
最近再看Machine Learning in Action. k近邻算法这一章节提供了这一例子,本着Talk is cheap的原则,我们来实际测试一下。 简单的介绍一下k近邻算法(KNN):给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。如下图所示:x为测试样本,小黑点是一类样本,小红点是另一类样本。在测试样本x的周围原创 2016-03-16 22:12:49 · 7342 阅读 · 1 评论