机器学习
文章平均质量分 84
wyl1813240346
这个作者很懒,什么都没留下…
展开
-
斯坦福大学机器学习笔记——机器学习基础以及有监督学习和无监督学习举例说明
本文主要介绍了什么是机器学习,以及机器学习的分类和有监督学习和无监督学习的区别原创 2017-10-25 20:27:59 · 2044 阅读 · 0 评论 -
斯坦福大学机器学习笔记——降维(PCA算法)
降维也是一种无监督学习的问题。所谓的降维,就是将高维度的数据降低到低维度空间,同时降维之后的数据又能够很好的表征原来数据的特性。 以具体的例子来说明一下什么是降维: 比如我们使用厘米和英尺表示同一物体的长度,如果我们使用一个仪器测量的结果单位是厘米,另一个仪器测量单位是英尺,两种仪器对同一物体测量的结果可能不完全相同(由于误差和精度),但是如果直接将两个特征都作为该物体长度的特征又很冗余,所以我原创 2018-01-05 21:14:31 · 9765 阅读 · 0 评论 -
斯坦福大学机器学习笔记——异常检测算法(高斯分布、多元高斯分布、异常检测算法)
异常检测问题介绍: 异常检测算法主要用于无监督学习问题,但从某种角度看它又类似于一种有监督学习的问题,下面我们从一个例子中简单介绍一下什么是异常检测问题。 比如我们有一个飞机引擎制造商,对于一个新造出的飞机引擎我们想判断这个引擎是不是异常的。 假如我们有两个飞机引擎的特征:1)引擎运转时产生的热量;2)引擎的震动强度。我们得到了一个数据集:x1,x2,...,xm{x^{1},x^{2},..原创 2018-01-14 21:58:33 · 11025 阅读 · 0 评论 -
斯坦福大学机器学习笔记——当训练模型性能不好时的措施(假设评估、模型选择和交叉验证集、正则化、学习曲线)
以我们前面讲述的线性回归为例,比如我们在训练集上训练出最优的模型,但是当我们将其使用到测试集时,测试的误差很大,我们该怎么办? 我们一般采取的措施主要包括以下6种:增加训练样本的数目(该方法适用于过拟合现象时,解决高方差。一般都是有效的,但是代价较大,如果下面的方法有效,可以优先采用下面的方式);尝试减少特征的数量(该方法适用于过拟合现象时,解决高方差);尝试获得更多的特征(该方法适用于欠拟原创 2017-12-02 15:32:53 · 10568 阅读 · 2 评论 -
斯坦福大学机器学习笔记——机器学习系统设计(误差分析、查全率和查准率、F1值)
这次博客我们主要讨论机器学习系统设计的主要问题,以及怎样巧妙的构建一个复杂的机器学习系统。 我们先用一个例子引入机器学习系统的设计: 以一个垃圾邮件分类器算法为例: 对于该问题,我们首先要做的是怎样选择并且表达特征向量x。我们可以选择100个词所构成的列表(这个词不仅包括垃圾邮件里面的词同时还包括非垃圾邮件里面的词,我们这里是手动选择的100个词,而在真正的算法中我们一般选择出现频率最高的原创 2017-12-05 16:38:41 · 1464 阅读 · 0 评论 -
斯坦福大学机器学习笔记——聚类(k-均值聚类算法、损失函数、初始化、聚类数目的选择)
上面的博客的算法都是有监督学习的算法,即对于每个数据我们都有该数据对应的标签,数据集的形式如下: 而今天我们学习的算法是一种无监督学习的算法——聚类,该算法中的每个数据没有标签,数据集的形式如下: K-均值聚类 k-均值聚类是一种最常见的聚类算法,该算法对没有标签的数据集进行训练,然后将数据集聚类成不同的类别。 k-均值聚类是一种迭代算法,该方法的过程如下: 1. 选择K个随机点,作为原创 2017-12-21 10:54:51 · 16167 阅读 · 3 评论 -
斯坦福大学机器学习笔记——逻辑回归、高级优化以及多分类问题
先简单说一下逻辑回归,其实会有很多人误解,会将逻辑回归当成回归算法,其实逻辑回归就是我们所说的分类问题,所谓的逻辑,一般我们说的逻辑就是逻辑0或者逻辑1,所以可以借此理解。但是逻辑回归不仅仅只包括两分类问题,它还包括多分类问题。 那么能否使用线性回归的思想解决逻辑回归吗,我们从以下两方面考虑: 1. 假设如下图所示的数据集: 假设使用线性回归来拟合该数据集,当出现一个较大的波动点时(最右侧原创 2017-11-12 21:40:03 · 3618 阅读 · 2 评论 -
瑞利熵和广义瑞利熵
此内容转载于这篇博客 我们首先来看看瑞利商的定义。瑞利商是指这样的函数R(A,x)R(A,x): R(A,x)=xHAxxHxR(A,x) = \frac{x^HAx}{x^Hx} 其中xx为非零向量,而AA为n×nn \times n的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵,即AH=AA^H=A。如果我们的矩阵A是实矩阵,则满足AT=AA^T=转载 2017-11-16 10:34:27 · 24057 阅读 · 9 评论 -
斯坦福大学机器学习笔记——过拟合问题以及正则化的解决方法
当我们使用前面博客所讲述的线性回归和逻辑回归时,经常会出现一种过拟合(over-fitting)问题。下面对过拟合下一个定义:过拟合(over-fitting): 所谓的过拟合就是:如果我们有非常多的特征时,通过使用这些特征学习得到的假设可能非常好地适应训练集(代价函数很小,几乎为零),但是可能这种假设不能推广到新的数据(对于新的数据预测的结果不好,也就是我们所说的泛化能力不强)。 下面我们从例原创 2017-11-20 10:34:59 · 1013 阅读 · 0 评论 -
斯坦福大学机器学习笔记——正则化的逻辑回归模型
在上面博客中我们讨论了正则化的线性回归模型,下面我们来讨论一下正则化的逻辑回归模型。 前面我们讲述了两种常用于逻辑回归的方法:基于梯度下降法的逻辑回归模型基于高级优化的逻辑回归模型基于梯度下降法的逻辑回归模型: 首先我们还是需要先设计加入正则化后的损失函数,与线性回归模型相似,我们只需要在原来逻辑回归损失函数的基础上加入正则化即可,于是,加入正则化后的损失函数为: 与线性回归模型相同原创 2017-11-20 16:27:35 · 1106 阅读 · 0 评论 -
斯坦福大学机器学习笔记——特征和多项式回归以及正规方程
我们可以举一个例子来引入多项式回归: 比如我们之前遇到的房价问题,对于房价的影响我们假设有两个特征,一个是房子的宽度x1x_{1},另外一个是房子的长度x2x_{2},这针对房价的估测我们可以建立下面形式的假设: hθ(x)=θ0+θ1x1+θ2x2h_{\theta }(x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2} 但是我们可以换一个角度思原创 2017-11-05 22:21:54 · 3248 阅读 · 0 评论 -
斯坦福大学机器学习笔记——单变量的线性回归以及损失函数和梯度下降法(包含代码)
回归问题: 所谓的回归问题就是给定的数据集,且每个数据集中的每个样例都有其正确的答案,通过给定的数据集进行拟合,找到一条能够最好代表该数据集的曲线,然后对于给定的一个样本,能够预测出该样本的答案(对于回归问题来说,最终的输出结果是一个连续的数值)。比如,房价预测问题,最终的输出房价是一个连续的数值。回归问题是监督学习的一种。 分类问题: 与回归问题一样,分类问题同属于监督学习,原创 2017-10-27 16:30:38 · 3758 阅读 · 2 评论 -
局部加权线性回归(内含代码)
在之前的博客中我们已经简单讨论过一些回归的算法,如使用假设和梯度下降法的单变量线性回归和多变量线性回归以及采用正规方程的线性回归,这次我们简单讨论一下局部加权线性回归(Local Weighted Liner Regression)。 局部加权回归可以看做正规方程的一种改进,通过上次博客中的代码,我们针对那个数据集会产生一个下图所示的拟合曲线: 从上面可以看出,该曲线拟合的效果不是很好,存在原创 2017-11-17 16:14:41 · 8528 阅读 · 7 评论 -
斯坦福大学机器学习笔记——多变量的线性回归以及梯度下降法注意事项(内有代码)
在前面博客中介绍了单变量线性回归的实现过程,本文将介绍多变量线性回归算法。 两者的对比如下: 1.数据方面的差异: 单变量线性回归数据: 多变量线性回归数据: 对于单变量线性回归来说,只有一个特征(房子的大小),而对于多变量线性特征回归特征的数量为多个(房子的大小、卧室的数量等) 2.模型构成上的差异: 单变量模型: 多变量模型: 首先介绍多维特征用矩阵形式的表示:原创 2017-10-30 17:54:48 · 2663 阅读 · 4 评论 -
斯坦福大学机器学习笔记——推荐系统(协同过滤、低秩分解、推荐系统)
这个博客让我们来讨论一下推荐系统,首先我们来讨论一下为什么学习推荐系统: 1. 推荐系统是机器学习中的一个重要应用,它已经用于很多企业中,比如淘宝、今日头条、亚马逊等。它们会根据你的浏览记录,当你再次访问时,会给你推荐一些你感兴趣的东西。 2. 我们从前面学过的机器学习知道,对于一个算法特征的选择,对算法性能的影响很大。而后面讲到的推荐系统的建立过程中,该算法可以自动的学习一套很好的特征,而不原创 2018-01-15 15:34:44 · 2133 阅读 · 1 评论