机器学习
文章平均质量分 66
一生所爱丶
这个作者很懒,什么都没留下…
展开
-
Andrew Ng机器学习笔记之局部加权回归
1.基本概念 欠拟合:由于样本数据过少过着其他因素,拟合模型在数据预报时会造成偏差。如图中的左和中为求出的回归方程,然而在x的取值和真实差别很大,这个情况叫做欠拟合。 过拟合:简单理解就是训练样本的得到的输出和期望输出基本一致,但是测试样本输出和测试样本的期望输出相差却很大 。 一般情况下: 对于特征集过小的情况,称之为欠拟合(underfitt原创 2016-03-16 19:47:59 · 608 阅读 · 1 评论 -
Softmax回归
发现一篇把Softmax回归讲解的很好的博客原文见:http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92简介在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字转载 2016-03-30 22:04:10 · 423 阅读 · 0 评论 -
机器学习MatLab实战整理--线性回归
1.最小均方算法 单个变量的情况下,cost function为:hθ(x) = θTx = θ0 + θ1x1。data = load('ex1data1.txt');X = data(:, 1); y = data(:, 2);首先将ex1data1.txt里的样本数据读取到data变量里,将data的里的第一列数据赋值给X,第二列数据赋值给y.类似的用法见下: data 是原创 2016-03-21 00:09:27 · 1239 阅读 · 0 评论 -
最大似然估计与最小二乘的解释
最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了,其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化,是个连乘积,只要取对数,就变成了线性加总。此时通过对参数求导数,并令一阶导数为零,就可以通过解方程(组),得到最大似然估计值。 最小二乘:转载 2016-03-23 13:26:31 · 1035 阅读 · 0 评论 -
高斯判别分析(附Matlab实现)
高斯判别分析(附Matlab实现)生成学习算法 高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Generative Learning Algorithms),而之前的属于判别学习算法(Discriminative Learning Algorithms)。原创 2016-04-06 19:23:43 · 1298 阅读 · 0 评论 -
拉格朗日对偶(Lagrange duality)
原文出处:http://www.cnblogs.com/90zeng/1.原始问题假设是定义在上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题:称为约束最优化问题的原始问题。现在如果不考虑约束条件,原始问题就是:因为假设其连续可微,利用高中的知识,对求导数,然后令导数为0,就可解出最优解,很easy. 那么,问题来了(转载 2016-04-20 19:47:00 · 575 阅读 · 0 评论 -
强烈推荐篇将PCA讲解得十分清楚的博文——PCA的数学原理
PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理,帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成纯数转载 2016-05-18 12:46:01 · 2217 阅读 · 2 评论