机器学习分类算法之逻辑回归

1、基础知识:

  • 逻辑回归:logistic regression
  • 二分类:binary classification
类别一类别二
noyse
falsetrue
01
negative classpositive class
  • 线性回归模型用于分类,效果一般;
  • 逻辑回归是最广泛使用的分类算法;

2、逻辑回归算法:输入特征x,输出介于0和1之间的数字。

  • 逻辑回归模型:通过sigmoid函数推演而来
    在这里插入图片描述
  • 逻辑回归模型的损失函数
    • 损失函数的作用:通过使损失函数达到最小值,来选择更好的逻辑回归参数训练数据(拟合数据)
      在这里插入图片描述
      在这里插入图片描述
    • 适合逻辑回归的损失函数
      在这里插入图片描述
      在这里插入图片描述
    • 适合逻辑回归模型的更简单的损失函数【其实就是把上面的损失函数整合到一个损失函数当中】
      在这里插入图片描述
      在这里插入图片描述
  • 逻辑回归模型的梯度下降算法:找到能使损失函数J最小的对应参数w和b
    在这里插入图片描述
  • 决策边界:通过threshold【阈值】获取预测值,为什么说z=0是决策边界,见下图分析:
    在这里插入图片描述
    • 在参数w和b条件下的决策边界:依然是z=0,前提是给定参数w和b。下图中假设参数w1和w2都为1,b为-3的条件下,z=0得到决策边界的函数图像。
      在这里插入图片描述
    • 非线性决策边界:包含高阶多项式的逻辑回归模型,可以拟合复杂的数据,若只使用x1···xn,那么逻辑回归决策边界始终是线性的。
      在这里插入图片描述
      在这里插入图片描述

总结:

  • 对于 逻辑回归模型 ,他的作用就是实现二分类,输入特征x(可以是多个特征)之后,输出介于0和1之间的数字,通过 决策边界 获得其预测值。至于其决策边界的获取,一定是要有已知的参数w(可以是多个)和b,而最优参数的获取就需要通过 损失函数J 来进行评价,只有损失函数J最小时,对应的参数w和b才是最优参数。而通过J与参数w和b之间的关系,更迭获取最小损失函数J的过程就是通过 梯度下降算法 实现的。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值