![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
iblue_coffee
一个又菜还不承认自己菜的追梦人。
展开
-
吴恩达机器学习笔记之多变量线性回归
多变量线性回归从之前的单变量线性回归现在扩展到多变量线性回归,比如通过房子的多个属性来预测它的售价。用n来表示变量的个数,m还是表示训练样本的数量;表示的是输入的是第i个样本,表示的是第i个样本的第j个特征的值。支持多变量的假设h表示为:,也叫做多元线性回归(multivariate linear regression)为了更方便的表示,使用矩阵乘法可以表示为:为了计算的方便, =...原创 2019-01-11 16:44:23 · 645 阅读 · 0 评论 -
吴恩达机器学习笔记之异常检测
异常检测(anomaly detection):问题动机:异常检测是一个常用的机器学习的算法,它虽然主要用于非监督学习问题,但是从某些角度来看,它又类似于一些监督学习问题。以下面这组数据集为例,我们希望做的是,假设给定的数据集都是正常的,当给定一个新的样本时,我们判断它属于这组样本的概率可能性。 在上图中,越靠近中心蓝色圈的数据属于该组数据的...原创 2019-02-26 19:38:26 · 831 阅读 · 0 评论 -
吴恩达机器学习笔记之应用机器学习的建议
决定下一步做什么:我们在设计或者改进一个机器学习系统时应该怎么做。采用“机器学习诊断法”,这是一种测试方法,你通过执行这种测试可以深入了解某种算法到底有没有用,测试算法的实现是需要时间的,但是这样的时间是花的值得的,可以让你快速知道怎么改进自己的算法。评估一个假设:我们都知道在拟合数据的时候,代价函数越小不一定代表模型越好,因为会存在过拟合的现象,为了检查是否发生了过拟合,我们可以...原创 2019-02-21 08:39:04 · 153 阅读 · 0 评论 -
吴恩达机器学习笔记之照片OCR
问题描述:照片光学识别(Photo Optical Character Recognition),一般有如下几个步骤:1.文字侦测(Text detection):将图片上的文字与其他环境对象分离开来。2.字符划分(Character segementation):将文字分割成一个个单个的字符。3.字符分类(Character classification):确定每一个字符是什么。...原创 2019-02-28 22:10:13 · 523 阅读 · 0 评论 -
吴恩达机器学习笔记之大规模机器学习
学习大数据集:假如我们有非常多的数据,假如说一亿个数据来训练我们的模型,那么我们的计算代价是非常大的。为了更好的解决这个问题,我们首先想的是我们有没有必要用这么多的数据,我们前面已经提到过可以画出学习曲线,看我们的模型是否存在高偏差或者高方差的问题。如上图第一幅图所示:我们知道我们的模型存在高方差的问题,那么我们可以采取用更多的数据训练模型来解决,但是如果我们的模型存在高偏差的问题,那...原创 2019-02-28 20:23:05 · 156 阅读 · 0 评论 -
吴恩达机器学习笔记之神经网络参数的反向传播算法
代价函数:回顾Logistic Regression中的代价函数为:神经网络的代价函数的基本思想与逻辑回归是一样的,但是形式上有一些差别:L表示神经网络的层数,sl表示l层神经网中的神经元的个数,K表示输出层的神经元的个数;正则项的计算包含了每一个激活单元。反向传播算法:为了计算代价函数的偏导数,我们需要采用一种反向传播算法,它的目的是为了最小化我们的代价函数,即先计算...原创 2019-02-19 10:01:59 · 1589 阅读 · 0 评论 -
吴恩达机器学习笔记之降维
第二类无监督学习问题,叫做降维(Dimensionality Reduction)。方法有数据压缩和可视化。数据压缩:数据压缩不仅可以减少数据在我们计算机当中的存储空间,还可以加速我们算法的学习过程。如图所示,我们将三维数据压缩到二维数据。首先我们观察到数据差不多都分布在同一个平面上,因此我们将数据投影到一个二维平面,然后就将可以将三维数据压缩到二维数据。可视化:将高...原创 2019-02-25 16:43:53 · 443 阅读 · 0 评论 -
吴恩达机器学习笔记之无监督学习
无监督学习:和监督学习相比,无监督学习的数据集是没有标签的。所谓没有标签的意识就是我们对数据一无所知,但是要借助一些算法试着帮我们寻找到数据的某些结构特性。聚类(CLustering)算法是我们要学习的第一个无监督学习的算法,将我们的数据分成不同的簇。K-means算法:假设我们有下图所示的数据集: K-means算法是一个迭代算法。K-means算法的流程...原创 2019-02-23 16:24:37 · 290 阅读 · 0 评论 -
吴恩达机器学习笔记之支持向量机
优化目标(Optimization Objective):Support Vector Machines(SVMs)支持向量机是一种非常强大的算法,在学习复杂的非线性方程时提供了一种更为清晰,更加强大的方式。我们首先从优化目标开始一步一步认识SVMs,首先从逻辑回归的优化目标开始:下图是逻辑回归中的假设函数-sigmoid函数,我们已经清楚的知道逻辑回归的优化目标,下图表示的为一个...原创 2019-02-22 19:48:23 · 472 阅读 · 0 评论 -
吴恩达机器学习笔记之机器学习系统设计
确定执行的优先级:误差分析:在设计一个复杂的机器学习系统时,可以先用最简单的算法去快速实现它,然后用交叉验证集来看看自己的算法需要在哪些方面提高,除此之外,还可以进行误差分析,来针对性的提高我们的算法。不对称分类的误差评估:类偏斜情况表现为我们的训练集中有非常多的同一种类的实例,只有很少或没有其他类的实例。这样我们并不能简单的从模型的准确度来度量我们的算法是否是一个好的算法。...原创 2019-02-22 10:28:14 · 1647 阅读 · 5 评论 -
吴恩达机器学习笔记之神经网络学习
当特征值变得非常多的时候,普通的逻辑回归模型就不能非常有效的处理这些特征了。这个时候我们就需要用神经网络来进行处理。模型展示(Model Representation):下图是一个神经网络的模型,它建立在很多神经元之上,每一个神经元又是一个个学习模型,这些神经元也叫激活单元(activate unit)采纳一些特征作为输入,并且根据本身的模型提供一个输出。Layer 1 叫做输入层...原创 2019-02-18 19:02:53 · 263 阅读 · 0 评论 -
吴恩达机器学习笔记之Octave/Matlab教程
Octave:基本运算符用百分号表示注释,true为数值1,false为数值0,不等号表示为~=;例如,1 ~= 2,返回的结果为1,即true。要改变Octave的提示符,代码为:PS1('>> '); 这样把Octave的提示符改为引号内的字符。;可以不打印复制的变量,与C相同。矩阵中;的意思表示切换到下一行。Octave或Matlab中数组的索引是...原创 2019-01-15 15:14:19 · 547 阅读 · 0 评论 -
吴恩达机器学习笔记之正则化
过拟合(The Problem of overfitoverfitting):如果拟合的直线对数据拟合效果不好,则我们称之为“欠拟合”(underfitting),或者有高的偏差(high bias)。过拟合——我们也称之为有很高的方差(high variance)。过拟合的原因是因为:有过多的特征,假设函数可能对于训练集数据拟合的很好,但是对于新的需要预测的数据却表现很失败。解决...原创 2019-01-19 10:42:38 · 201 阅读 · 0 评论 -
吴恩达机器学习笔记之单变量线性回归
模型表示(Model Representation)在监督学习中有一个数据集,我们把它称之为训练集(Training Set)。 h(x)在这里表示hypothesis,这是机器学习的术语,不用太在意名称。代价函数(Cost Function)代价函数使我们用来评估h(x)准确度的一个函数, 代价函数也叫平方误差函数,或者叫做平方误差代价函数,前面除以2的原因是为了后面梯度下降的...原创 2019-01-10 20:08:07 · 160 阅读 · 0 评论 -
吴恩达机器学习笔记之非监督学习
Unsupervised learning监督学习的样本数据是有标签的,而非监督学习的数据样本是没有标签的。事先对这些数据的特征的特点不知道,需要用算法来帮我们进行分析,包括聚类分析,让算法自己去寻找数据中的结构, 聚类——只是非监督学习的一种。 鸡尾酒宴问题——非监督学习的另一种,让算法从一段嘈杂的音频中分离出不同的声音,实现这个功能只需要一行代码,涉及到奇异值分解。 [W,s,v]...原创 2019-01-07 22:16:09 · 171 阅读 · 0 评论 -
吴恩达机器学习笔记之监督学习
Supervised learning: 监督学习指的就是我们给学习算法一个数据集,这个数据集由“正确答案”组成。比如房价的预测,给定一系列房子的数据,给定数据集中每个样本的正确价格,实际的售价运用学习算法,来算出更多的正确答案。用专业的术语来讲,这叫做回归问题,即试着推测出一系列连续值属性。 还有一类问题叫做分类问题,比如根据一个人的外貌预测一个人是男生还是女生,...原创 2019-01-07 21:36:34 · 159 阅读 · 0 评论 -
吴恩达机器学习笔记之Logistic回归
分类问题(classification):分类问题的输出一般是有限个离散的值,此时线性回归(linear regression)就不适用了,如果是简单的0和1分类,因为线性回归的输出值是连续的并且可能远远大于1或者远远小于0,并且线性回归的假设函数会受到样本的影响而发生改变,此时预测的结果可能就会发生很大的偏差。Logistic regression是一种分类算法,虽然它的名字里面有回归,...原创 2019-01-18 18:35:25 · 218 阅读 · 0 评论 -
吴恩达机器学习笔记之推荐系统
问题规划:推荐系统是机器学习中的一个重要的应用,在之前的算法学习中,我们知道,特征对于机器学习算法来说很重要,选取不同的特征对模型造成的影响也是非常不同的,因此我们想能否开发出一个能够自动学习选取特征的算法,推荐系统就属于这一类算法。下面我们从一个例子开始学习怎么设计一个推荐系统。基于内容的推荐算法:基于内容的推荐算法,因为我们已经对内容有了特征表示,比如电影的浪漫程度,打斗程...原创 2019-02-27 19:05:35 · 405 阅读 · 0 评论