机器学习笔记——logistic回归（logistic regression）

最新推荐文章于 2022-12-04 14:12:18 发布

Veropatrinica

最新推荐文章于 2022-12-04 14:12:18 发布

阅读量452

点赞数

分类专栏：机器学习文章标签：机器学习分类问题 logistic回归梯度下降代价函数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/shanwenkang/article/details/84938212

版权

机器学习专栏收录该内容

12 篇文章 2 订阅

订阅专栏

logistic回归

logistic回归实际上并不是一种回归算法，而是一种分类算法，意思就是输出值是离散值（01或者更多类），而它叫这个名字完全是历史原因。我们可以从下图看出对于分类问题，如果我们采用传统的回归算法并不能获得很好的效果

假设称述

由于输出的值是0和1，因此我们很自然想到将假设函数的值映射到0-1之间，我们又sigmoid函数恰好能够很好的解决这个问题。也就是说我们将回归方法的假设函数作为sigmoid函数的输入

我们的假设函数的值实际上就是输出值取1的概率值

决策界限

对于这个假设函数我们同样需要一个决策界限（decision boundary）来判决输出的值，而这个值就是0.5

通过以下这个例子我们可以直观地理解这是什么意思

我们也可以通过多项式来模拟非线性的边界

代价函数

如果我们直接将应用回归方法的代价函数，那我们将会得到一个非凸的代价函数，很显然这种函数是我们非常不希望得到的，因此在此方法下利用梯度下降法将会收敛至局部最小值

由此我们提出了logistic回归的代价函数，我们可以证明这个函数是凸函数，并且这个函数很好地拟合了我们需要的性质

我们还可以对以上形式进行简化

梯度下降法

在我们对其应用梯度下降法的时候我们可以算出logistic回归的代价函数的偏导数与线性回归的情况非常相似，但是不同的是logistic回归的假设函数是不一样的，因此二者并不是同一个东西

高级优化

对于logistic回归，我们不仅有梯度下降法，我们还存在一些高级优化（advanced optimization）优化，这些方法更加复杂，但是能取得的效果更好

这些优化方法都集成在matlab中，一般我们只需要编写代价函数与代价函数偏导数的计算函数，再将其赋给fminunc函数即可进行优化

多元分类

上面我们主要讨论了二元的情况，即输出值只有0和1。实际上对于多元的情况也是类似的，我们只需要将多元看作多个二元情况的组合，再看哪个分类情况的假设函数输出最大即可得到最终结果

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
机器学习笔记——logistic回归（logistic regression）

logistic回归logistic回归实际上并不是一种回归算法，而是一种分类算法，意思就是输出值是离散值（01或者更多类），而它叫这个名字完全是历史原因。我们可以从下图看出对于分类问题，如果我们采用传统的回归算法并不能获得很好的效果假设称述由于输出的值是0和1，因此我们很自然想到将假设函数的值映射到0-1之间，我们又sigmoid函数恰好能够很好的解决这个问题。也就是说我们将回归...
复制链接

扫一扫

专栏目录

Veropatrinica CSDN认证博客专家 CSDN认证企业博客

码龄6年

91: 原创

2万+: 周排名

130万+: 总排名

25万+: 访问

: 等级

3298: 积分

1987: 粉丝

209: 获赞

88: 评论

1054: 收藏

私信

关注

热门文章

分类专栏

笔记 1篇
三维重建 1篇
图神经网络 1篇
Unity3D 8篇
Reading Notes 4篇
OJ 32篇
VR 5篇
CUDA 6篇
图像处理 12篇
机器学习 12篇
CNN 14篇
环境配置 2篇
杂 3篇

最新评论

快速理解图神经网络（GCN）
嵩哥迷弟: Out[6]还差一行[2, -2]没写出来
数字图像处理笔记——酉变换（ Unitary image transforms）
Орехов: DFT变换的系数矩阵A应该是正交矩阵，而不是酉矩阵吧，验证代码如下 [code=plain] H = 10; [k, n] = meshgrid(0:H-1); A = exp(-1i*2*pi*u.*x/H); % DFT变换的系数矩阵A E = A * A'; % A*A'的结果是对角矩阵，说明A是正交矩阵 not_E = A * conj(A'); % A*conj(A')的结果不是对角矩阵，说明A不是酉矩阵 [/code]
简单实例理解Unity世界坐标和局部坐标下四元数旋转（四元数乘法）
云上空: 四元数乘法旋转的本质是旋转的连续应用。当你执行p * q时，可以理解为首先应用四元数p的旋转，然后再应用四元数q的旋转。因此transform.rotation=transform.roation*quaterion可以解析如下: transform.rotation表示应用自身的旋转（也可以理解为将物体从默认旋转应用到transform.rotation），然后应用Quaternion旋转（也可以说是向自己施加quaterion旋转，一个意思），因此结果就是绕本地轴旋转了quaternion. 而transform.rotation=Quaternion*transform.rotation; 可以理解为对空间应用Quaternion旋转，对空间进行旋转也就是对空间坐标系的基进行旋转。也就是将整个空间朝某个方向旋转，然后在旋转后的空间中再应用transform.rotaion，因此就是绕世界轴进行了旋转。作为子物体时的四元数旋转：物体的localRotation其实就等于先应用父物体旋转，再应用本地旋转，也就是：transform.rotation = transform.parent.transform.rotation * transform.localRotation。但是我这里不打算通过这个来推断之后的局部旋转和全局旋转的异同关系。因为局部旋转的计算本质上依然是旋转的连续应用。局部坐标时,localRotation=loaclRotation*q和世界坐标的原理一样，也是先应用自身旋转然后应用q的旋转。结果便是绕自身坐标系旋转。而使用transform.localRotation=q*transform.localRotation也和之前一样。还是先对坐标系进行旋转，只不过这里旋转的是局部坐标系，然后再应用自身旋转，也就是自身绕着局部坐标系中的q进行了旋转。和世界坐标中的旋转原理一样，但是坐标系不同，结果自然不同。
Unity开发——Hololens2+Vuforia实现图像识别详细教程
Yxyrwx: 我运行之后不会出现在hololens中不会vuforia菜单，并且模型只会显示在一个浏览框里，不像官方给的例子那种可以在任意角度都能识别出来，这应该咋解决
Unity开发——Hololens2+Vuforia实现图像识别详细教程
东瓶儿: 详细厉害

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。