【人工智能全栈学习】机器学习基础知识——线性回归与逻辑回归（看完就全懂了）

最新推荐文章于 2022-12-11 22:05:50 发布

一拳Marx

最新推荐文章于 2022-12-11 22:05:50 发布

阅读量1.3k

点赞数 2

分类专栏：人工智能文章标签：逻辑回归机器学习人工智能

本文链接：https://blog.csdn.net/liuyiming2019/article/details/122048329

版权

人工智能专栏收录该内容

23 篇文章 9 订阅

订阅专栏

【人工智能全栈学习】机器学习基础知识——线性回归与逻辑回归（看完就全懂了）

一、问题
二、人工智能全栈学习系列课程
三、线性回归
四、逻辑回归(logistic regression)

本系列文章不可转载！！！

一、问题

本章问题导读，如果面试前以下题目还有不会的建议看本篇文章
1.什么是MSE
2.逻辑回归和线性回归的不同，请说出一个典型的逻辑回归表达式（如sigmod）
3.KL距离的本质
4.请介绍准确率和召回率
5.介绍ROC曲线和AUC，说出ROC存在的意义，AUC=1和AUC=0代表什么
6.什么是正则项，比较L1正则和L2正则的区别
7.使用逻辑回归的时候测试集需满足正态分布和正负样本相等，这是为什么
8. 为什么逻辑回归不用mse，用KL距离
9.为什么线性回归可以用mse

二、人工智能全栈学习系列课程

三、线性回归

mse:Mean squared error
在这里插入图片描述

四、逻辑回归(logistic regression)

KL距离：散度

初学机器学习：直观解读KL散度的数学概念
在这里插入图片描述

乘在左侧的加权是为了使这个值为期望值

这里理解了好久，有点类似于概率论里的E(x)=p(x)*f(x)
损失函数：既要考虑训练效果好又要考虑训练集和测试集的差异小

上采样和下采样

数据预处理-上采样（过采样）与下采样（欠采样）
上采样与下采样

模型评测

准确率和召回率

和阈值相关，比如认为高于0.5是True，所以准确率和召回率是和阈值相关的，阈值越高筛除了很多不好的样本，准确率越高，但是召回率就越低。 阈值选择基于产品形态。
T:True
F:Fasle
P:Positive
N:Negative

	True	False
P(y=1)	TP	FN
N(y=0)	TN	FN

1.准确率： $\frac{TP}{TP+FP}$
预测中的正确率
2.召回率： $\frac{TP}{TP+FN}$
实际中的正确率

ROC和AUC（一般在0.7~0.85）

真实
正样本：M 负样本：N
预测为正
正样本里m被预测为正，负样本里有n被预测为正的
ROC曲线
AUC面积的意义：
m: $正样本>\theta_1$
n: $\theta_2>负样本>\theta_1$
横坐标：反例中预测为正例的
纵坐标：正例中预测为正例的
在这里插入图片描述
$A U C = A U C 表示的是正例排在负例前面的概率$
AUC值高代表模型更好，完美的分类器AUC为1，最低为0
模型评估指标AUC（area under the curve）

正则优化：正则项

这篇文章较难理解，可以不看：正则项浅析
在这里插入图片描述

这篇文章较好理解：什么是 L1/L2 正则化 (Regularization)

我的理解是我们需要衡量训练模型的好坏，但如上所说，并不是loss越少越好，这么看，我们的评价公式是有问题的，这个时候在原本的loss公式上加上了“正则项”。达到如下目的：
在这里插入图片描述
这样为了让新的loss尽可能小

这里看到评论区有人问了为什么切点处和最小，我的理解是黄圈把loss从中心往外拉了，拉到了某个椭圆上。这个时候的白点符合黄圈也同时符合蓝圈，显然是切点最好。

加上了强度 $\lambda$
在这里插入图片描述
必问：
用L1时牺牲最不重要的维度
用L2时各维度普遍变小

标准化

在这里插入图片描述

数值优化

贝叶斯公式

条件概率：后验概率

概念	数据的关系
概率，是你已经知道模型，去分析数据。	概率对象：真实对模拟
似然度，是你只知道数据，去模拟一个模型，分析模拟模型和数据(真实模型)的相似度。简单来说，似然度就是相似度，两个变量之间的相似度。	似然度：模拟对真实

在这里插入图片描述

扩展

mse推导

以身高为例，假设中国男性身高，假设y为性别y=1是男，y=0是女，x为身高，男性平均身高 $\mu_1$ ，女性平均身高 $\mu_2$ 。
在这里插入图片描述

将两个相除，把 $P (x)$ 消去，得到公式一：

又知道公式二：

令右侧以 $e$ 为底的式子为 $A$ ，将公式一和公式二联立，可以得到如下公式三：

得到：

即得到以下的式子：

得到逻辑回归的表达式：
在这里插入图片描述
分析：因为我们只有公式一，公式二，所以无法求出 $\mu_1$ 和 $\mu_2$ 和 $\sigma$ ，两个公式无法得到三个未知数。但是可以知道两者之间的差异，所以称之为判别模型——知道分布需要很多参数，但是却能进行分类
注：刚刚漏掉了男女比例的a
在这里插入图片描述

因此最后是有a的，但一般做逻辑回归的时候认为p(y=0)=p(y=1)，即a=1

用逻辑回归的时候要承认两个事实：
1.满足正态分布
2.两类数量相等（所以要上下采样，让正负样本数量尽可能相等）
推荐阅读：
【理解机器学习（二）】样本不平衡问题：为什么逻辑回归的阈值设为0.5？
在这里插入图片描述
一定要让预测概率大于随机猜的概率

KL距离

为什么逻辑回归不用mse，用KL距离

导数有问题，w是随机的，假如刚开始是非常大的正值
在这里插入图片描述
w非常大的话

$f_i$ 趋于1或者0，当 $f_i$ 趋于1或者0时 $f_i*(1-f_i)$ 就会特别小，会导致导数非常小

此时还没有正确分类，学不到东西。

为什么线性回归可以用mse呢

因为逻辑回归中多了一个sigmoid函数，线性回归中没有，不会出现这种问题

最大似然估计

我们不知道原因(即w)，但我们知道原因产生的结果(即 $x_1、x_2、x_3...$ )
在这里插入图片描述
可以尝试找到能找到一个w可以让这个结果 $x_1、x_2、x_3...$ 发生概率最大化，即从结果找到最本质的原因。
$x_1,y_1、(x_2,y_2)、(x_3,y_3)...$ 已经发生，发生的概率是 $P_1*P_2*P_3*...$ ，即求 $max(P_1*P_2*P_3*...)$

把公式合在一起得到 $P(y|x)=f^y(1-f)^{1-y}$
当y=0时，原式变为1-f
当y=1时，原式为f
在这里插入图片描述
拆开来写就是

即最大化的正值，如果取个负号，就是最小的负值：