CtrlZ1
浮天水送无穷树,带雨云埋一半山。
展开
-
吴恩达机器学习课程15——推荐系统
目录引子引子上图是一个电影评分的例子。nu代表用户数量,nm代表电影数量,r(i,j)=1表示用户j对电影i进行了评分。y(i,j)=0~5,表示用户j对于电影i的评分。从左边的图来看,Alice和Bob比较喜欢爱情片,而3号和4号比较喜欢动作片。推荐系统的任务就是根据r(i,j)和y(i,j)预测j会对没看过的电影i做出怎样的评分,并根据预测的评分来决定是否将电影i推荐给该用户j。...原创 2020-11-10 20:00:16 · 224 阅读 · 0 评论 -
吴恩达机器学习课程14——异常检测
目录异常检测高斯分布(即正态分布)基础参数估计异常检测算法评估异常检测算法异常检测VS监督学习特征的选择与处理特征处理特征选择异常检测所谓异常检测,其实就是先训练无标签的数据,认为它们都是正常的数据,然后对于给定测试集或验证集的数据,来判断它们都否正常。是否正常是通过设置一个阈值来判断的,超过阈值就是异常,反之就是正常。异常检测有很多应用,包括用户行为检测、机器运转检测等等,都可以应用异常检测的技术。高斯分布(即正态分布)基础高斯分布又叫正态分布,这个咱们应该都挺熟悉的,高中也学过类似原创 2020-11-07 21:10:12 · 583 阅读 · 0 评论 -
吴恩达机器学习课程13——降维
目录降维与数据压缩降维与数据压缩降维可以使数据规模减小,从而起到节约空间、加快算法执行等作用。数据压缩这个词我们还比较好理解,那降维是怎么一回事呢?它们两个是怎么扯上关系的呢?降维,其实就是一种削减特征数量的手段。为什么要削减特征数量呢?众所周知,特征少了不好,多了也不好,可能造成特征冗余,不但会占用多余的空间,更致命的是会大大影响算法性能。所谓特征冗余,讲的就是一些特征的相关度非常高,它们的数据特征非常相似,具有很高的相关性,这样的特征对于算法是没有增益的,反而会增大计算负担。举个栗子,假如有两个原创 2020-11-05 21:43:32 · 327 阅读 · 0 评论 -
吴恩达机器学习课程12——无监督学习
目录k-means聚类输入算法类别不明显优化目标k-means聚类k-means聚类是当下比较火的一个无监督学习算法。我打算直接从k-means开始讲起,对于无监督学习的理解和定义我在前面已经做过相关工作了,大家还有不理解的可以移步之前的博客,我这里就直接从相关算法开始陈述了。吴恩达老师对于k-means算法的过程给出了一个非常通俗易懂的描述与演示:首先随机生成两点(如果是两类的话)作为聚类中心。而后重复执行下面的算法,直到效果不再改变。首先遍历所有数据点,将点分为两类,距离哪个聚类中心近,原创 2020-11-04 21:10:50 · 356 阅读 · 1 评论 -
吴恩达机器学习课程11——支持向量机(2)
目录核函数使用SVM核函数下面要讲的是用支持向量机来解决非线性分类的问题。非线性分类往往是比较复杂的分类界线,需要比较复杂的特征多项式,如上图,而这种形式的多项式(x1x2、x2的平方等等)是一种选择特征的方式,但是问题是我们是否存在更好的选择特征的方式,而不是使用这些高阶项。 我们并不清楚这些高阶项对我们是否真正有利。上图中我们将特征按序用f1、f2……来表示。针对上面提到的问题,我们有如下解决方法,我们提供一种构造新特征的方法,以三个特征为例举例(实际情况n个特征)图中我们生成了三个标原创 2020-11-03 20:58:34 · 198 阅读 · 0 评论 -
吴恩达机器学习课程10——支持向量机(1)
目录优化目标大间距分类器大间隔分类的数学原理优化目标SVM(支持向量机)和logistic回归是有一定的联系的。首先,我们回顾一下logistic的相关内容:这张图片展示的是logistic回归的相关思想,在sigmoid函数中,θ的转置·x(用字母z表示) 是自变量,输入到sigmoid函数中,根据函数图像,我们可以得到随着z的无限增大,sigmoid函数无限接近1,随着z的无限减小,sigmoid函数无限接近于0。这都是我们之前已经得到的相关结论。然后我们再回顾一下logistic回归的代价原创 2020-11-02 19:54:10 · 836 阅读 · 0 评论 -
吴恩达机器学习课程09——机器学习系统设计
目录误差分析偏斜类(不对称性分类)的误差评估精确度和召回率的权衡大量训练数据如有错误,请不吝指正~误差分析一些建议:吴恩达老师提供了很多机器学习的建议方法,比如上面提到的三条:1.当你接手一件任务的时候,先用最快速的方法完成目标,去实现它。2.然后就是修修补补了,比如绘制学习曲线,进而决定是否需要更多的数据、更多的特征等等。3.误差分析操作,这个挺有意思的,就是针对那些你预测的不是很准确的数据,人工分析一下, 看看它们都具有什么特点,从而决定是否增加一些针对性特征等等。比如说:以区分原创 2020-10-30 21:54:54 · 169 阅读 · 0 评论 -
吴恩达机器学习课程08——应用机器学习的建议
目录评估假设模型选择诊断偏差与方差如果不妥,还请指正~评估假设吴恩达老师主要讲了如何评估自己模型的效果。由于可能存在特征较多的情况,这样就不方便绘图查看预测与训练数据的关系(是否出现欠拟合或过拟合)。所以吴恩达老师讲了通过代价函数来进行判断。方法就是首先给出训练数据,然后通常是以7:3的比例来划分训练和测试数据的。用在线性回归上:用在Logistic回归上:logistic回归也是使用了代价函数,然后还可以使用一种01分类错误度量的方法来衡量,大家看图就可以清楚的理解。模型选择原创 2020-10-29 22:00:37 · 251 阅读 · 0 评论 -
吴恩达机器学习课程07——神经网络学习
目录神经网络模型前向传播反向传播神经网络模型关于这一块的入门知识,比如什么是神经网络呀,等等抽象的入门概念,我不打算讲太多,准确的说,吴恩达老师的课程里已经陈述了一遍了,比较好理解,没有太多要讲的地方。今天的话,我主要想再讲一下前向传播和反向传播的知识(主要是反向传播),这一块其实吴恩达老师也拿出了很多的时间来讲解,但是说实话,这一块内容比较的绕,需要一定的数学功底,之前我也专门总结过很多次了,即便是这样,我也觉得我并没有多么掌握这一块的知识(吴恩达老师也在视频中提到这一点),所以今天也算是领着自己原创 2020-10-28 21:25:55 · 210 阅读 · 0 评论 -
吴恩达机器学习课程06——正则化
目录过拟合问题过拟合问题拟合和过拟合问题,其实很好理解。用专业的话来讲其实就是模型对于训练数据的训练力度过大,导致其泛化性能差,所谓泛化性能差,其实就是只会对于训练数据给出的数据进行预测,对于新的数据,成功率极低,性能很差。说得通俗一点,就好比我的模型是一个模具,代表好模型的模具可能与你要烙的饼的形状并不完全一样,但是可以烙很多种形状(泛化性能好),但是代表差的模型的模具可能与你要烙的饼分毫不差(可以精准预测训练数据),但是根本烙不了其他的饼(没办法泛化,还要你干嘛)。左侧的图有些欠拟合,中间的原创 2020-10-28 19:23:50 · 206 阅读 · 0 评论 -
吴恩达机器学习课程05——Logistic回归
目录分类假设模型代价函数多分类总结感谢大家的支持,如有不妥之处,还请不吝指正~分类需要注意的是,虽然它叫做Logistic回归,但是其实这是一个分类算法。我们首先以二分类来引入这个算法。下面是吴恩达老师在课程中提到的一个例子。既然是分类,我们就要有分类标准。如上图所示,我们对训练数据使用我们学过的线性回归(用回归算法来做分类任务),那么就会得到上图的拟合直线,由直线可得,我们的标准就是0.5,y>=0.5就预测为1类,否则就预测为0类。从图中所给的数据来看,这么分是很合理的。这是否表示用回原创 2020-10-25 21:18:36 · 239 阅读 · 0 评论 -
吴恩达机器学习课程04——多变量线性回归
目录多变量假设函数多元函数梯度下降梯度下降实用技巧线性回归拟合函数正规方程解θ谢谢大家,如有不妥之处,还望不吝指正。多变量如图所示,假如我们有x1,x2,x3,x4四个特征变量,y为标签变量。那么我们用图中所示的符号来表示我们的特征变量,每个样本的x是一个n×1的矩阵(即n维向量),上标 (i) 表示的是第i个样本的n维向量形式。下标 j 则是某个样本中第j行的数值。假设函数多变量情况下的假设函数也理所当然的出现了变化:如图所示,这个公式应该可以预想的到,要说的一点是,这里我们有意义的原创 2020-10-20 20:32:12 · 251 阅读 · 0 评论 -
吴恩达机器学习课程03——梯度下降
目录梯度下降法功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入梯度下降法我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设原创 2020-10-19 17:41:33 · 274 阅读 · 0 评论 -
吴恩达机器学习课程02——模型描述与代价函数
目录模型描述代价函数模型描述Training Set:首先提供数据集Learning Algorithm:学习算法h(hypothesis):假设函数x:输入特征y:输出目标通俗一点讲,就是提供给我训练数据集(Training Set) 并采用某学习算法(Learning Algorithm) 进行训练得到我的假设函数(h),然后对于测试集的每一条样本数据特征(x) 经过我的假设函数,我就可以给你输出我对目标的预测值(y)。代价函数视频中是用单变量线性回归举例的(因为等于或原创 2020-10-17 21:58:01 · 299 阅读 · 0 评论 -
吴恩达机器学习课程01——初识机器学习
目录什么是机器学习监督学习无监督学习写的不好的地方欢迎大家评论指正~什么是机器学习Arthur Samuel(1959):在没有明确设置的情况下,使计算机具有学习能力的研究领域。吴恩达老师举了一个关于跳棋的例子,机器通过不断学习过往经验,棋艺一步一步增强。其实就好比是下面这个例子:(图片来自https://www.zhihu.com/question/33892253)Tom Mitchell(1998):计算机程序从经验E中学习解决某一任务T并进行某一性能度量P,通过P来测定在T上的表现因原创 2020-10-16 11:15:07 · 303 阅读 · 1 评论