基础算法2:逻辑回归相关

基础算法 专栏收录该内容
2 篇文章 0 订阅

【学习任务】

一、Logistic回归损失函数的极大似然推导:西瓜书公式3.27怎么推来的?

在这里插入图片描述

二、Logistic回归损失函数的最优化算法:什么是牛顿法、拟牛顿法?

答:

牛顿法

假设我们求下面函数的最小值:
在这里插入图片描述
假设f(x)具有连续的二阶的连续偏导数,假设第K次迭代值为xk的值,那么可将f(X)在xk附近进行二阶泰勒展开得到:
在这里插入图片描述

我们对上述公式求导可得:
在这里插入图片描述
假设其中可逆,我们就可以得到牛顿法的迭代公式为:
在这里插入图片描述
这样就可以得到牛顿法的迭代公式了。
牛顿法算法如下:
输入:目标函数f(X),梯度▽f(x),海赛矩阵H(x),精度要求ε;
输出:f(x)的极小点x*.
步骤一:取初始点x0,置k=0
步骤二:计算梯度▽f(x)
步骤三:||▽f(x)||〈ε,那么停止计算得到的x*=xk。
步骤四:计算H(x)
步骤五:
在这里插入图片描述
步骤6:转步骤二
牛顿法的缺点:牛顿法收敛速度快,但是要计算二阶偏导数矩阵及其逆阵,计算量过大。

二 拟牛顿法

拟牛顿法与原始牛顿法的区别在于增加了沿牛顿方向的一维搜索,其迭代公式为:
在这里插入图片描述
其实牛顿法就是阻尼牛顿法步长为1的特殊情况。
拟牛顿法算法:
输入:目标函数f(X),梯度▽f(x),海赛矩阵H(x),精度要求ε;
输出:f(x)的极小点x*.
步骤一:取初始点x0,置k=0
步骤二:计算梯度▽f(x)
步骤三:||▽f(x)||〈ε,那么停止计算得到的x*=xk。
步骤四:计算H(x)
步骤五:从xk出发,沿着dk方向作一维搜索,
在这里插入图片描述

步骤六:
在这里插入图片描述
步骤七:转步骤二

参考来源:http://www.cnblogs.com/xiaohuahua108/p/6011105.html

三、为什么不用线性回归做分类?

答:对于分类问
题,我们希望输出值是标签为离散值0或者1,但当用线性回归做分类问题时,预测值y的输出会远大于1或者小于0;使用逻辑回归来处理分类问题,逻辑回归可以使输出值介于0和1之间,虽然逻辑回归有“回归”字眼,但它实际上是分类算法。

四、Logistic回归为什么不像线性回归那样用平方损失函数?

答:因为逻辑回归的假设函数是xxx,如果使用平方损失函数,会使得代价函数变成参数为threa的非凸函数,这会使得我们有很多个局部最优点,无法找到全局最优点;且如果在平方损失函数上使用梯度下降法,无法保证可以收敛至全局最小值;我们希望我们找到的代价函数是一个凸函数,因为对这样的代价函数使用梯度下降法,我们可以保证梯度下降法可以收敛至该函数的全局最小值。

五、Logistic回归的参数为什么不像线性回归那样直接公式求解?

答:因为Logistic回归的损失函数本身无法推导出w和b的解析解,只能通过最优化算法去近似求解

六、Logistic回归与线性回归有哪些联系?

答:逻辑回归与线性回归都属于广义线性回归模型
其区别与联系如下:(当然肯定还有更多其他的,后续学到更多再补充)
1、回归模型就是预测一个连续变量(如降水量,价格等)。在分类问题中,预测属于某类的概率,可以看成回归问题。这可以说是使用回归算法的分类方法。
2、输出:直接使用线性回归的输出作为概率是有问题的,因为其值有可能小于0或者大于1,这是不符合实际情况的,而逻辑回归的输出是在[0,1]区间。

  • 1
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值