吴恩达机器学习笔记
张张同学!
其实路上风再大也没有关系。
展开
-
吴恩达学习11(降维)
降维动机一:数据压缩动机二:数据可视化主成分分析问题主成分分析算法选择主成分的数量重建的压缩表示主成分分析法的应用建议动机一:数据压缩第二种类型的无监督学习问题,称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩,后面我们会看了一些视频后,数据压缩不仅允许我们压缩数据,因而使用较少的计算机内存或磁盘空间,但它也让我们加快我们的学习算法。作为一种生动的例子,我们收集的数据集,有许多,许多特征,我绘制两个在这里。假设我们未知两个的特征:x1x_1x1:长度:用厘米表示;x2x_2x2:是原创 2020-08-11 07:52:27 · 241 阅读 · 0 评论 -
吴恩达机器学习day13(推荐系统(Recommender Systems))
推荐系统(Recommender Systems一.问题形式化二. 基于内容的推荐系统三.协同过滤四.协同过滤算法五.向量化:低秩矩阵分解六.推行工作上的细节:均值归一化一.问题形式化我们从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商,我们有 5 部电影和 4 个用户,我们要求用户为电影打分。前三部电影是爱情片,后两部则是动作片,我们可以看出Alice和Bob似乎更倾向与爱情片, 而 Carol 和 Dave 似乎更倾向与动作片。并且没有一个用户给所有的电影都打过分。我们希望构建一个算原创 2020-08-12 16:14:30 · 291 阅读 · 0 评论 -
吴恩达机器学习day12(异常检测)
异常检测一.问题的动机二.高斯分布三.算法四.开发和评价一个异常监测系统五.异常检测与监督学习对比六.选择特征一.问题的动机什么是异常检测呢?为了解释这个概念,让我举一个例子吧:假想你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时,你需要进行QA(质量控制测试),而作为这个测试的一部分,你测量了飞机引擎的一些特征变量,比如引擎运转时产生的热量,或者引擎的振动等等。这样一来,你就有了一个数据集,从x(1)x^{(1)}x(1)到x(m)x^{(m)}x(m),如果你生产了mmm个引擎的话,原创 2020-08-11 22:07:29 · 400 阅读 · 0 评论 -
吴恩达机器学习day10(聚类(Clustering))
聚类一.无监督学习:应用:二.K-均值算法三.优化目标四.随机初始化五.选择聚类数一.无监督学习:聚类算法,非监督学习算法在一个典型的监督学习中,我们有一个有标签的训练集,我们的目标是找到能够区分正样本和负样本的决策边界,在这里的监督学习中,我们有一系列标签,我们需要据此拟合一个假设函数。与此不同的是,在非监督学习中,我们的数据没有附带任何标签,我们拿到的数据就是这样的:在这里我们有一系列点,却没有标签。因此,我们的训练集可以写成只有x(1)x^{(1)}x(1),x(2)x^{(2)}x(2)…原创 2020-08-10 11:57:35 · 484 阅读 · 0 评论 -
吴恩达机器学习day9(支持向量机)
支持向量机一.优化目标一.优化目标原创 2020-08-04 12:36:29 · 537 阅读 · 0 评论 -
吴恩达学习day8(机器学习系统的设计(Machine Learning System Design))
机器学习系统的设计首先要做什么误差分析类偏斜的误差度量查准率和查全率之间的权衡机器学习的数据首先要做什么以一个垃圾邮件分类器算法为例进行讨论。为了解决这样一个问题,我们首先要做的决定是如何选择并表达特征向量xxx。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表,根据这些词是否有在邮件中出现,来获得我们的特征向量(出现为1,不出现为0),尺寸为100×1为了构建这个分类器算法,我们可以做很多事,例如:收集更多的数据,让我们有更多的垃圾邮件和非垃圾邮件的样本基于邮件的路由原创 2020-08-03 10:38:09 · 339 阅读 · 0 评论 -
吴恩达机器学习day7(机器学习的进一步发展)
机器学习的建议一.决定下一步做什么【1】.获得更多的训练样本【2】尝试减少特征的数量【3】尝试获得更多的特征【4】尝试增加多项式特征【5】尝试减少正则化程度λ\lambdaλ【6】.尝试增加正则化程度λ\lambdaλ二.评估一个假设【1】如何判断一个假设函数是过拟合的呢?1.方法一2.方法二三.模型选择和交叉验证集四.诊断偏差和方差五.正则化和偏差/方差六.学习曲线七.决定下一步做什么一.决定下一步做什么【1】.获得更多的训练样本注意:通过获得更多的数据,有时候有效,但有时候获得更多的训练数据实际原创 2020-07-31 11:25:05 · 508 阅读 · 0 评论 -
吴恩达机器学习day6(神经网络的学习反向传播算法)
神经网络的学习反向传播算法代价函数反向传播算法代价函数假设神经网络的训练样本有m个,每个包含一组输入x和一组输出信号y,L表示神经网络层数,SI表示每层的neuron个数(Sl表示输出层神经元个数),SL代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况:二类分类和多类分类,二类分类:SL=0,y=0/1表示哪一类;类分类:SL=k,yi=1表示分到第i类(k>2);我们回顾逻辑回归问题中我们的代价函数为:hθ =−1m[∑i=1myi⋅1logh0(x(i)+(1−y(i原创 2020-07-29 11:46:42 · 236 阅读 · 0 评论 -
吴恩达机器学习day5(神经网络:表述)
神经网络学习:表述一.非线性假设【1】前提引入【2】实例体验二.神经元和大脑三.模型表示1【1】了解实际神经系统【2】模型思考:三.模型表示2四.特征和直观解释1一.非线性假设【1】前提引入我们之前学的,无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大。下面是一个例子:使用非线性的多项式项,能够帮助我们建立更好的分类模型。【1】假设我们有非常多的特征,例如大于100个变量,我们希望用这100个特征来构建一个非线性的多项式模型,结果将是数量非常多的特征组合【2】原创 2020-07-24 15:38:23 · 198 阅读 · 0 评论 -
吴恩达机器学习day4(正则化(Regularization))
正则化一 过拟合问题二 代价函数三 正则化线性回归四 正则化的逻辑回归模型一 过拟合问题正则化(regularization)的技术,它可以改善或者减少过度拟合问题。如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0),但是可能会不能推广到新的数据。下图是一个回归问题的例子:第一个模型是一个线性模型,欠拟合,不能很好地适应我们的训练集;第三个模型是一个四次方的模型,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出,若给出一个新的值原创 2020-07-21 23:04:34 · 342 阅读 · 0 评论 -
吴恩达学习day3(逻辑回归(Logistic Regression))
逻辑回归(Logistic Regression)一.分类问题二.假说表示【1】逻辑回归模型【2】python代码实现:【3】函数图像:【4】逻辑回归模型的假设:三. 判定边界【1】过程推导【2】例如四.代价函数【1】公式推导:【2】拟合图像:【3】函数解释:【4】Python代码实现:五.简化的代价函数和梯度下降六.高级优化七.多类别分类:一对多【1】例子:【2】图像描述一.分类问题你要预测的变量y是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流原创 2020-07-21 17:14:01 · 284 阅读 · 0 评论 -
吴恩达学习day2(多变量线性回归)
多变量线性回归多维特征多变量梯度下降多维特征引例:目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,……xn)。比如:预测房价不只是面积,还有卧室数x1,楼层数x2,新旧程度x3,增添更多特征后,我们引入一系列新的注释:n 代表特征的数量x^(i)代表第i个训练实例,是特征矩阵中的第i行,是一个向量(vector)。比方说,上图的,xj^(i)代表特征矩阵中第 i行的第 j个特征,原创 2020-07-21 10:31:17 · 196 阅读 · 0 评论 -
吴恩达学习day2(矩阵和向量)
矩阵和向量矩阵和向量什么是矩阵?加法和标量乘法矩阵加法矩阵乘法矩阵乘法矩阵的性质逆、转置矩阵和向量什么是矩阵?矩阵是指由数字组成的举行阵列,并写在方括号中例如:【1】矩阵的维度:行数*列数【2】矩阵的元素:Aij指的是第i行,第j列的元素。【3】向量是一个特殊的矩阵,讲义中一般都是列向量,如:【4】如下图为1索引向量和0索引向量,左图为1索引向量,右图为0索引向量,一般我们用1索引向量。注意:大部分矩阵都大写字母来表示,用小写字母来表示数字和元素加法和标量乘法矩阵加法:矩阵乘原创 2020-07-19 19:15:27 · 206 阅读 · 0 评论 -
吴恩达机器学习day1(单变量线性回归)
单变量线性回归一.模型表示【1】回归问题的标记【2】实例二.代价函数J【1】公式思考【2】代价函数J的直观理解【3】代价函数的直观理解II三.梯度下降算法【1】初步了解【2】梯度下降背后的思想【3】过程体验【4】批量梯度下降算法的公式一.模型表示**引例:**预测房价,我们要使用一个数据集,数据集包含XX市的住房价格。在这里我们根据不同的房屋尺寸所售的价格,画出我的数据集,我们就可以建造一个数据模型,得到需要的大概价格【类似监督学习,被称为回归问题】【1】回归问题的标记我们将要用来描述这个回归问题的原创 2020-07-19 00:07:28 · 462 阅读 · 0 评论 -
吴恩达机器学习day1(了解机器学习)
初步了解机器学习前言了解机器学习【1】常见的机器学习的体现:【2】机器学习的领域:【3】机器学习的应用:什么是机器学习?监督学习[1]定义[2]了解[3]基本思想无监督学习定义:例子:总结:前言了解机器学习【1】常见的机器学习的体现:打开谷歌、必应搜索到你需要的内容,正是因为他们有良好的学习算法。谷歌和微软实现了学习算法来排行网页每次,你用Facebook或苹果的图片分类程序他能认出你朋友的照片,这也是机器学习。每次您阅读您的电子邮件垃圾邮件筛选器,可以帮你过滤大量的垃圾邮件这也是一种学习算法。这些原创 2020-07-18 21:51:30 · 156 阅读 · 0 评论