![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Ace_bb
这个作者很懒,什么都没留下…
展开
-
机器学习 学习总结 第五章 梯度下降法求正则化代价函数最小值
求正则化代价函数最小值梯度下降法在求解之前的线性回归方程的代价函数的最小值时,我们使用了以下的方程来迭代θ值。我们知道正则化后的代价函数中我们是从θ1开始惩罚,θ0并未动。所以我们将θ从迭代方程中分离出来。得到以下迭代方程:其实并没有任何改变,至少将计算θ0的等式分离出来了而已。 然后θj从1开始取值,到n。 如果我们想用这个方法来求节正则化的目标函数,我们还需要在θj的等式上添加一项...原创 2020-01-22 23:47:16 · 857 阅读 · 0 评论 -
机器学习 学习总结 第五章 什么是正则化?正则化是如何运作的?
什么是正则化?举例说明如下数据集,两个函数模型的拟合曲线如图:显然,当阶次较高时,可以很好的拟合数据,但是一般性不好,过度拟合了数据。下面是在之前的线性回归方程中假设的代价函数:选择增加两个惩罚项来尽量减少θ3和θ4的值。代价函数就是我们优化的目标,我们要尽量减少代价函数的均方误差对代价函数增加如下两项:为了使这个新代价函数最小化,我们要让θ3和θ4尽量小。 实现最小化后θ3...原创 2020-01-21 18:36:48 · 300 阅读 · 0 评论 -
机器学习 学习总结 第五章 在监督学习中什么是过度拟合问题?
过度拟合什么是过度拟合?线性回归的过度拟合在线性回归问题中,我们用了直线方程,二次方程,高次方程来拟合数据集,如图:显然直线方程没有很好的拟合数据集,是欠拟合,存在着高误差,二次方程 是一个很好的拟合模型。高次方程虽然经过每一个数据样本,但曲线过于曲折,并不认为它是一个好的模型。 称为过拟合。另一个描述该问题的术语是:高方差高方差: 我们用一个函数拟合数据样本时,这个函数能很好的拟...原创 2020-01-21 17:51:23 · 843 阅读 · 0 评论 -
机器学习 学习总结 第四章 提高逻辑回归梯度下降效率的高级优先算法
高级优先算法梯度下降法回顾我们有个代价函数J(θ)而我们想要使其最小化,那么我们需要做的是编写代码来当输入参数θ时,代码会计算出两杨对象,J(θ)以及J(θ)等于0到n时的偏导数项,假设我们以及完成了可以实现这两件事的代码,那么梯度下降法要做的就是反复执行更新迭代θ值简单的讲就是我们需要写代码来计算出代价函数J(θ)以及J(θ)的各项偏导数。再带入到梯度下降法的θ迭代公式中,然后最小化代价函...原创 2020-01-20 23:20:42 · 263 阅读 · 0 评论 -
机器学习 学习总结 第四章 逻辑回归代价函数化简以及梯度下降法
代价函数函数化简代价函数回顾:将代价函数合成一个公式可得:显然,对y进行0 1 赋值,可以分别得到原来的表达式。逻辑回归的代价函数完整表达式逻辑回归代价函数如下:根据这个代价函数,我们要做的就是找到使得J(θ)取得最小是的参数θ值。梯度下降法需要用迭代公式来同时迭代计算θ向量中所有的θ值。线性回归和逻辑回归假设函数的不同:第一个是线性回归的假设函数,第二个是逻辑回归...原创 2020-01-20 22:26:37 · 234 阅读 · 0 评论 -
机器学习 学习总结 第四章 如何拟合逻辑回归模型的参数θ? 代价函数(优化目标)
如何拟合逻辑回归模型的θ值这便是监督学习问题中的逻辑回归模型的拟合问题。我们有一个训练集,m训练样本,对每一个训练样本都用n+1维的特征向量表示,x0=1, y∈{0,1}。hθ(x)是假设的函数,θ是假设的参数。我们要解决的问题就是,对于给定的训练集,我们如何拟合参数θ?Cost函数分类问题的代价函数表达式在之前的线性回归方程中我们使用了这个代价函数:我们对这个代价函数进行如下更改...原创 2020-01-20 22:05:22 · 1441 阅读 · 0 评论 -
机器学习 学习总结 第四章 分类问题逻辑回归算法之决策边界
分类问题逻辑函数逻辑函数(S型函数) :由上面两个图可知,要假设函数g(z)>=0.5,则需要z>=0。 假设函数g(z)<=0.5时,则需要z<=0; 预测y=1,则只需要θTx>=0, 预测y=0,则只需要θTx<=0.举例(吴恩达老师的例子,×表示正样本,⭕表示负样本):决策边界线性决策边界决策边界是假设函数的一个属性。预测值等于1和...原创 2020-01-20 12:10:50 · 594 阅读 · 0 评论 -
机器学习 学习总结 第四章 分类问题之逻辑回归的算法表达式
分类问题在分类问题中,例如之前提到过的肿瘤良性恶性分类问题,可以将我们要预测的变量Y分为0 和 1 。 被标记为0 的也叫做负类, 标记为1的也叫做正类。 对于正类和负类的定义其实是任意的,没有硬性要求,主要看我们的需要。通常,负类表示某些缺少某样东西的东西,正类表示拥有某些我们需要的东西。接下来首先讨论的是0 1 分类问题。二元分类问题逻辑回归问题...原创 2020-01-20 11:35:04 · 511 阅读 · 0 评论 -
Matlap基本指令介绍(Octave同样适用)——运算 对数运算,幂运算,变量 disp() format()格式 生成随机矩阵
Matlap(Octave) 基本指令Matlap和Octave界面Matlap:Octave:原创 2020-01-19 14:11:08 · 893 阅读 · 0 评论 -
机器学习 学习总结第三章 多变量的线性回归方程
多元线性回归方程当我们要预测的Y值受到多个变量的影响时,即有多个特征量,需要建立多变量的方程以吴恩达老师课上用到的房价预测为例,房价受到面积,房间数量,楼层数,房子年龄因素影响。每一组数据和假设θ值看作一个一维(n+1)*1的向量。θ的转置矩阵乘以x的向量就是对于的Y值。如下:梯度下降法解多特征的线性回归方程不断的用θj减去α倍的导数项来替代θjα后面的为代价函数对参数...原创 2020-01-18 11:29:31 · 2205 阅读 · 0 评论 -
机器学习 学习总结 第一章 监督学习中的线性回归算法
监督学习中的线性回归算法监督学习:对于每一个数据,给出了“正确的答案”线性回归算法回归问题: 回归是指我们根据之前的数据预测一个准确的输出值分类问题: 当我们要预测离散的输出值,0/1离散值输出问题数据集(训练集)以房子价格为例,数据集就包含不同房屋的价格,我们需从数据中学习预测房屋价格。m表示数据集中数据的数量,x为输入量,y为输出量。(x,y)为一个数据实例。h为从x到y的...原创 2020-01-15 22:47:51 · 448 阅读 · 0 评论 -
机器学习 学习总结 第一章 什么是机器学习?
无题本系列博客将用来记录在学习机器学习中学到的东西,相当于课堂笔记,方便之后查看。机器学习是学习深度学习的基础,我学习的目的也是为了学习深度学习的图像处理技术,所以并不会学习非常深入。学习的课程是吴恩达的机器学习课程课程连接:吴恩达机器学习(https://www.bilibili.com/video/av9912938?p=2)什么是深度学习?深度学习在我们生活中的应用百度,Googl...原创 2020-01-11 23:59:48 · 356 阅读 · 1 评论