机器学习笔记
文章平均质量分 81
羊和咩咩
越是憧憬,越要风雨兼程!
展开
-
斯坦福机器学习笔记一
用了三周的时间把斯坦福机器学习的视频过了一遍,根据自己记的随堂笔记同时参考海大黄博的个人笔记,想把机器学习的内容再好好梳理一下。刚刚接触这一块,有不足之处,欢迎批评指正!机器学习是什么?机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。“训练”产生“模型”,“模型”指导“预测”。机器学习存在不同类型的学习算法,最主要的两种类型是:监督学习和非监督学习。 监督学习的基本思原创 2017-04-28 21:39:14 · 3697 阅读 · 0 评论 -
斯坦福机器学习笔记九
异常检测对于给定数据集 x1,x2,…,xm{{\text{x}}^{1}}\text{},{{\text{x}}^{2}}\text{},\ldots \text{},{{\text{x}}^{\text{m}}},假设数据集是正常的,我们希望知道新的数据 xtest{{\text{x}}_{\text{test}}} 是不是异常的,即这个测试数据不属于给定数据集所构成的那个数据组的几率。构建出的原创 2017-05-06 09:10:12 · 571 阅读 · 0 评论 -
斯坦福机器学习笔记十二
在线学习机制在线学习机制可以模型化问题,可以通过算法在涌入连续的数据流中学习用户的偏好,来优化一些网站的决策。利用刚得到的 (x , y) 数据对来迭代更新 θ。这里使用的是(x,y)而不是(x(i){{\text{x}}^{\left( \text{i} \right)}},y(i){{\text{y}}^{\left( \text{i} \right)}})是因为网站是有连续的数据的,每个数据用原创 2017-05-13 22:22:21 · 473 阅读 · 0 评论 -
斯坦福机器学习笔记十一
大规模机器学习在处理大数据问题之前,应该先画出学习曲线,然后确保增加数据是有效的,再去增加数据。对于高方差的情况,增加数据是有效的;而对于高偏差的情况,增加数据就作用不大,多加一些特征或者在经网络里加一些隐藏的单元这样应该会比较有效1、随机梯度下降算法在训练集较大的情况下,批量梯度下降算法的每一次迭代都要计算训练集的误差的平方和,计算量大,速度会很慢。如果一定需要一个大规模的训练集,可以使用随机梯度原创 2017-05-13 22:14:01 · 447 阅读 · 0 评论 -
斯坦福机器学习笔记八
降维降维可以把冗余的数据维度降低,使用较少的计算机内存,使学习算法加速;降维也能实现数据的可视化,将高维数据降到二维或者三维。1、主成分分析法(PCA)主成分分析法(PCA)是最常见的降维算法。PCA 所做的就是寻找一个低维的投影面,对数据进行投影,使得点到投影面的距离的平方能够最小化。其中,点到投影面的距离叫做投影误差。在应用PCA之前,通常要先进行均值归一化和特征规范化 ,使得特征 x1{{\t原创 2017-05-05 09:23:41 · 482 阅读 · 0 评论 -
斯坦福机器学习笔记七
K均值算法之前说到的算法都是监督学习算法,在监督学习中,训练集都是带标签的,我们的目标是找到能够区分正负样本的决策边界或者根据带标签的数据拟合出假设函数。现在开始介绍非监督学习算法,在非监督学习中,数据集没有标签,我们需要做的是将一系列无标签的数据集数据输入到一个算法中,让算法去找这些数据的内在结构。图上数据看起来可以分成两个分开的点集(称为簇),能够将上图自动的圈成点集的算法被称为聚类算法。 K原创 2017-05-04 09:00:15 · 538 阅读 · 0 评论 -
斯坦福机器学习笔记六
支持向量机与逻辑回归和神经网络相比,支持向量机(SVM)在学习复杂的非线性方程时会提供一种更为清晰、更为强大的方式。1、支持向量机的代价函数从逻辑回归的代价函数来推导支持向量机的代价函数,已知逻辑回归的代价函数如下: J( θ )=−1m∑mi=1[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]\text{J}\left( \text{ }原创 2017-05-03 15:12:39 · 599 阅读 · 0 评论 -
斯坦福机器学习笔记五
机器学习诊断法有时候发现训练出来的模型误差很大,会有很多解决办法。例如:增加更多的训练样本,减少特征数目,增加特征数目,增加多项式特征,减小或增大正则化参数 λ 的值 。但是这些尝试往往会浪费很多时间,所有这里提出了一种机器学习诊断法。1、数据的分配将数据分为三部分,训练集(60%)、交叉验证集(20%)和测试集(20%)。利用训练集,选择最优的多项式个数及其参数;利用交叉验证集代入到原创 2017-04-30 09:14:21 · 892 阅读 · 0 评论 -
斯坦福机器学习笔记四
神经网络 当特征太多时,线性回归算法和逻辑回归算法的计算负荷会非常大,不能有效地处理这么多的特征,因此需要使用神经网络。神经网络是许多逻辑单元按照不同层级组织起来的网络,每一层的输出变量都是下一层的输入变量。原创 2017-04-29 21:44:00 · 651 阅读 · 0 评论 -
斯坦福机器学习笔记三
逻辑回归算法在分类问题中,需要预测的变量 y 的值是离散值,首先讨论的是二元分类问题。在二元分类问题中,输出变量 y 有两个值:0 和 1,标记为 0 的类叫做负类;标记为 1 的类叫做正类 。我们希望分类器的输出值在0到1之间,因此这里提出了逻辑回归算法,该算法的假设函数的输出变量范围始终在 0 到 1 之间。 逻辑回归算法的假设函数是: h_θ (x)=g(θ^T X)=1/(1+e^原创 2017-04-29 12:57:51 · 666 阅读 · 2 评论 -
斯坦福机器学习笔记二
批量梯度下降法 梯度下降法是一个用来求函数最小值的算法,梯度算法的思想是:随机选择一个参数的组合(θ_0,θ_1 〖,θ〗_2…)计算代价函数,然后寻找下一个能让代价函数值下降最多的参数组合,直到找到一个局部最优解。选择不同的初始参数,可能会找到不同的局部最小值。梯度下降算法是很常用的算法,它可以被用于很多算法的最优化求解问题上。这里介绍的是批量梯度下降算法,之所以叫批量,是因为在梯度下降的每一原创 2017-04-29 08:19:47 · 925 阅读 · 0 评论 -
斯坦福机器学习笔记十
推荐系统这里以电影推荐的栗子来说明什么是推荐系统。nu{{\text{n}}_{\text{u}}} 代表用户的数量 nm{{\text{n}}_{\text{m}}} 代表电影的数量 r(i,j) 如果用户给电影评过分,则r(i,j)=1 y(ij){{\text{y}}^{\left( \text{ij} \right)}} 代表用户i给电影j的评分 mj{{\text{m}}_{\te原创 2017-05-08 08:49:09 · 413 阅读 · 0 评论