机器学习
文章平均质量分 81
此专栏是在网易云课堂上学习吴恩达【机器学习】所整理的知识点。
1051450906
这个作者很懒,什么都没留下…
展开
-
吴恩达机器学习(线性回归)
1.线性回归原创 2021-01-18 14:39:06 · 2192 阅读 · 7 评论 -
吴恩达机器学习(逻辑回归)
Logistic回归原创 2021-01-19 10:08:41 · 142 阅读 · 6 评论 -
吴恩达机器学习(正则化)
(1)什么是过度拟合问题?在线性回归中的过拟合例子:图1:是一个线性模型,欠拟合或者叫做高偏差,不能很好地适应我们的训练集;我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。图2:恰当合适的拟合了数据图3:完美的拟合了训练数据,称之为过拟合或者叫做高方差,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出,若给出一个新的值使之预测,它将表现的很差,是过拟合,虽然能非常好地适应我们的训练集但在新输入变量进行预测时可原创 2021-01-19 10:51:00 · 921 阅读 · 2 评论 -
吴恩达机器学习(神经网络学习)
(1)神经网络算法模型展示神经网络算法在学习复杂的非线性假设上是一种比较好的算法,即使输入特征空间或者n很大,也能轻松搞定。如何定义神经网络的假设函数Layer1是输入层。Layer2为隐藏层。隐藏层实际上就是一个复杂式子的中间计算过程,除了输入层外,其他的每一个节点表示的就是一个计算过程,计算的具体过程由参数值所决定。所以不论所要求解或者表达的式子多么的复杂,通过增加隐藏层的数目和层中的节点数,一定可以表示出来。Layer3是输出层。下面是上图中的三个隐藏值计算的过程以及输出层h(x)的值原创 2021-01-19 16:35:59 · 121 阅读 · 0 评论 -
吴恩达机器学习(神经网络参数的反向传播算法)
(1)神经网络结构的代价函数它能在给定训练集时,为神经网络拟合参数(2)让代价函数最小化的算法—反向传播算法反向传播算法,也就是首先计算最后一层的误差,然后再一层一层反向求出各层的误差,直到倒数第二层。 这个就是反向传播算法的通俗解释。假设我们有假设我们的训练集只有一个实例(x(1), y(1)),我们的神经网络是一个四层的神经网络,其中K = 4, SL = 4, L = 4。我们从最后一层的误差开始计算,误差是激活单元的预测(ak(4))与实际值(yK)之间的误差。第4层误差: δ(4) =原创 2021-01-20 17:25:10 · 559 阅读 · 4 评论 -
吴恩达机器学习(应用机器学习的建议)
(1)决定下一步做什么假设你已经实现了正则化的线性回归来预测房屋价格,然而,当在一组新的测试集上使用该假设时,在预测上出现了不能接受的错误,接下来会做什么呢?也就是说当调试学习算法时,当面对测试集算法效果不佳时,会怎么做呢?你可能从下面的五种方法中选择。(1)采集更多的训练样本;(有时候并没有效果)(2)尝试选用更少的特征;(3)尝试获取更多的特征;(4)尝试增加特征多项式;(5)尝试减小或增大正则化参数的值。由此引出机器学习诊断法:这是一种测试法,通过执行这种测试能够了解算法在哪里出了问题原创 2021-01-21 16:20:32 · 169 阅读 · 0 评论 -
吴恩达机器学习(机器学习系统设计)
(1)确定执行的优先级这一节中将介绍在实际工作过程中,应该先处理哪些事情。以建立一个邮件分类器为例:给定一组电子邮件,可以为每个电子邮件构造一个向量。这个向量中的每个元素代表一个单词。向量通常包含10,000到50,000个条目,这些条目是在我们的数据集中找到最常用的单词,将它们作为特征向量。当准备好所有的x向量,我们训练我们的算法,最后,我们可以用它来分类电子邮件是否是垃圾邮件。如何在有限的时间下让垃圾邮件分类器具有高精准度和低错误率?▷ 收集大量数据(honeypot项目)▷ 从邮件信息原创 2021-01-22 12:09:45 · 325 阅读 · 1 评论 -
吴恩达机器学习(支持向量机)
(1)优化目标支持向量机在学习复杂的非线性方程时能够提供一种更为清晰个更加强大的方式。先回顾Logistic逻辑回归的相关概念,看如何进行改动可以得到支持向量机。Logistic回归的假设函数,以及对应sigmoid激活函数图像如下:Logistic回归中的代价函数为:针对某一项的Cost为:可以看到下图中SVM中对Logistic回归代价函数的改变:Logistic回归总体优化目标到支持向量机的总体优化目标转换,如下图所示:于是得到支持向量机的总体优化目标,最小化下面的函数,就得到了原创 2021-01-23 10:24:05 · 204 阅读 · 1 评论 -
吴恩达机器学习(无监督学习)
(1)无监督学习这一章中将介绍无监督学习中的聚类算法,那么什么是无监督学习呢?首先,拿监督学习来进行比较,这是一个典型的监督学习的例子,有一个带标签的训练集,目标是找到一条能够区分正样本和负样本的决策边界,如下图:这里的监督学习问题是指有一系列标签,用假设函数去拟合它。而相比于无监督学习中,数据并不带有任何标签,得到的数据如下图:因此在无监督学习中,要将这系列无标签的数据输入到算法中,然后让算法找到一些隐含在数据中的结构,上图中能找到的结构就是两组分开的点集,而这些能找出这些点集的算法被称为聚原创 2021-01-23 14:05:08 · 250 阅读 · 0 评论 -
吴恩达机器学习(降维)
目标一:数据压缩这一章中将讨论第二种无监督学习的问题:降维。数据压缩不仅能让我们对数据进行压缩,使得数据占用较少的内存和硬盘空间,还能对学习算法进行加速。(1)二维降到一维:如果能把数据从二维减少到一维,用来减少这种冗余,通过降维,也就说想找出一条线,看起来大多数样本所在的线,所有的数据都投影到这条线上,通过这种做法,能够测量出每个样本在线上的位置。就可以建立新的特征,只需要一个数就能确定新特征。意味着:之前要用一个二维数字表示的特征可以一维数直接表示。通过这种方法,就能够把内存的需求减半或原创 2021-01-24 13:56:43 · 234 阅读 · 2 评论 -
吴恩达机器学习(异常检测)
(1)问题动机这一章中将介绍异常检测问题,这是机器学习算法的常见应用,那么什么是异常检测问题?举例:比如生产汽车引擎,需要进行质量测试,而作为测试的一部分,需要测量汽车引擎的一些特征变量:(1)引擎运转时产生的热量;(2)引擎的振动;于是就会有一个数据集:,把数据绘制成图,如图。这样,异常检测问题可以定义如下:假设,之后生产了一个新的汽车引擎,而新的汽车引擎有一个特征变量集X(test),所谓的异常检测问题就是希望知道新的汽车引擎是否有某种异常,或者说希望判断这个引擎是否需要进一步测试。如原创 2021-01-25 16:40:49 · 524 阅读 · 8 评论 -
吴恩达机器学习(推荐系统)
(1)问题规划这一章中将讨论推荐系统的有关内容,它是在机器学习中的一个重要应用。机器学习领域的一个伟大思想:对于某些问题,有一些算法可以自动地学习一系列合适的特征,比起手动设计或编写特征更有效率。这是目前做的比较多的研究,有一些环境能让你开发某个算法来学习使用那些特征。接下里让我们通过推荐系统的学习来领略一些特征学习的思想。推荐系统预测电影评分的问题:某些公司让用户对不同的电影进行评价,用0到5星来评级,下面是用户的评价情况:符号介绍:推荐系统就是在给出了r(i,j)和y(i,j)的值后,原创 2021-01-28 12:13:21 · 283 阅读 · 0 评论 -
吴恩达机器学习(大规模机器学习)
学习大数据集这一章中将讲述能够处理海量数据的算法。思考:为什么要使用海量数据集呢?要知道获取高性能的机器学习系统途径是采用低偏差的学习算法,并用大数据进行训练。这里拿之前提到过的易混淆词来举例,For breakfast I ate __ eggs,这里填two,而非too或者to,从下面的图中可以明确,只要使用大数据对算法进行训练,它的效果似乎会更好。从这样的结果可以得出,在机器学习中,决定因素往往不是最好的算法而是谁的训练数据最多。但是大数据集有它自己的特殊的问题,即计算问题。假设有m等于一亿原创 2021-02-01 14:02:38 · 156 阅读 · 1 评论 -
吴恩达机器学习(应用举例与课程总结)
问题描述与OCR pipeline这一章将介绍一种机器学习的应用实例:照片OCR技术,介绍它的原因:(1)首先,展示一个复杂的机器学习系统是如何被组合起来的;(2)接着,介绍一下机器学习流水线的有关概念以及如何分配资源来对下一步计划作出决定;(3)最后,介绍一下照片OCR问题,展现机器学习中有用的想法和概念,其中之一就是应用在计算机视觉问题中,另一个是人工数据合成的概念。照片OCR的全称为照片光学字符识别,它注重的问题是如何让计算机读出图片中的文字信息,它有以下几个步骤:(1)首先,给定某张图片原创 2021-02-01 16:29:22 · 323 阅读 · 1 评论