【机器学习】逻辑回归基础知识+代码实现

最新推荐文章于 2024-08-05 23:53:25 发布

maershii

最新推荐文章于 2024-08-05 23:53:25 发布

阅读量938

点赞数

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u013166817/article/details/84782662

版权

本文介绍了逻辑回归的基本概念，包括其用于二分类、输出概率的特点，以及优点和缺点。详细阐述了逻辑回归的公式推导，损失函数以及梯度上升与随机梯度上升的训练细节。此外，还讨论了缺失数据的处理策略，并提供了代码实现的参考资源。

摘要由CSDN通过智能技术生成

1. 基本概念

逻辑回归用于二分类，将对输入的线性表示映射到0和1之间，输出为label为1的概率。

优点：实现代价低，可输出分类概率。适用于数据线性不可分。

缺点：容易欠拟合，分类精度可能不高，且仅限二分类。

使用数据类型：数值型和标称数据。

逻辑回归本质也是线性回归，但是是将线性回归映射到0/1分类上，因此逻辑回归用于分类。

2. 公式推导

单个输入样本为 x =[1,x_1, x_2,...,x_n] ,第一项为1是为了直接把截距b加入到权重w矩阵中，方便计算。 y = [y_1,y_2,...,y_n] 为正确的标签类别。共有m个样本。

回归函数：

$\\ \hat {y} = \sigma(wx) \\ \sigma(z) = \frac{1}{1+exp(-z)} \\\sigma(z)' = \sigma(z)(1-\sigma(z))$

属于不同类别的概率：

$\\ p(y=1|x) = \hat{y} = \sigma(wx) \\p(y=0| x) = 1-\hat{y} = 1-\sigma(wx)$

则分类正确的概率：

$p(y|x) = \hat{y}^y * (1-\hat{y})^{(1-y)}$

则对于所有样本，分类正确的最大似然估计为：

$P = \prod_{i=1}^{m}p(y^{<i>}|x^{<i>}) = \prod_{i=1}^{m} (\hat{y}^y * (1-\hat{y})^{(1-y)})$

取对数：

最低0.47元/天解锁文章

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
【机器学习】逻辑回归基础知识+代码实现

1. 基本概念逻辑回归用于二分类，将对输入的线性表示映射到0和1之间，输出为label为1的概率。优点：实现代价低，可输出分类概率。适用于数据线性不可分。缺点：容易欠拟合，分类精度可能不高，且仅限二分类。使用数据类型：数值型和标称数据。逻辑回归本质也是线性回归，但是是将线性回归映射到0/1分类上，因此逻辑回归用于分类。2. 公式推导单个输入样本为 ,第一项为1是为了直接...
复制链接

扫一扫

专栏目录

maershii CSDN认证博客专家 CSDN认证企业博客

码龄11年

39: 原创

18万+: 周排名

141万+: 总排名

13万+: 访问

: 等级

1423: 积分

25: 粉丝

56: 获赞

10: 评论

406: 收藏

私信

关注

热门文章

分类专栏

python 1篇
lintcode 1篇
github 1篇
软件安装与使用 1篇
机器学习 10篇
leetcode 21篇
深度学习 3篇
NLP 2篇

最新评论

【leetcode】输出一个数的所有质数因子
【浅滩】: [code=csharp] #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> int main() { int a, b; b = 2; //输入你要计算的值 scanf("%d", &a); //判断大于1,1没有质因数 while (a>1) { //判断b是否是a的因数，是就进入循环，否就判断下一个自然数 if (a % b == 0) { //将值分解成质数相乘的式子如：12 = 2*2*3 //将确定是因数的值不断循环除尽然后输出 //偶数中只有2是质数，且是所有数中最小的质数 while (a % b == 0) { //循环将确定是因数的值不断除尽 a = a / b; } //输出确定的因数 printf("%d\n", b); } else { //判断不是因数，就跳过判断下一个 b++; } } return 0; } [/code]
【机器学习】朴素贝叶斯基本介绍+代码实现
qq_40902046: 上面的正则表达式写错了吧
【机器学习】线性回归+代码实现
wangkai12123: 想要数据集
【leetcode】输出一个数的所有质数因子
飞鱼9372: 判断n%i == 0以后没有给n重新赋值，造成while死循环[code=python] def findPrime(n): if n <= 1: return i = 2 res = [] while n > 1: if n%i == 0: n = n/i res.append(i) else: i+=1 return res [/code]
【机器学习】线性回归+代码实现
qq_44686396: 找不到你的feliname文件

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。