day4 AI面试刷题

1. 简述逻辑回归，并简述它与线性回归的关系

逻辑回归(Logistic Regression) 与 线性回归(Linear Regression) 都是一种广义线性模型(generalized linear model)。逻辑回归袈裟因变量y服从伯努利分布，而线性回归假设因变量y服从高斯分布。因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

参考 逻辑回归与线性回归是什么关系呢？

2. 回归问题常用的性能度量指标

1. 均方误差(MSE)
   MSE(Mean Square Error)：是反映估计值与被估计值之间差异程度的一种度量，公式如下：
   $$\begin{array}{r}MSE=\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2\end{array}$$
2. 均方根误差(RMSE)
   RMSE(Root Mean Square Error):观测值与真值偏差的平方和与观测次数n比值的平方根，用来衡量观测值同真值之间的偏差。公式如下：
   $$\begin{array}{r}RMSE=\sqrt{MSE}=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2}\end{array}$$
3. 和方误差(SSE)
   $$\begin{array}{r}SSE=\sum _{i=0}^n(f(x_i)-y_i{)}^2\end{array}$$
4. MAE
   MAE(mean Absolute Error):计算模型输出与真实值之间的平均绝对误差。
   $$\begin{array}{r}MAE=\frac{1}{n}\sum _{i=0}^n|y_i-\widehat{y_i}|\end{array}$$
5. MAPE
   MAPE(Mean Absolute Percentage Error):不仅考虑预测值与真实值的误差，还考虑了误差与真实值之间的比例。
   $$\begin{array}{r}MAPE=\frac{1}{n}\sum _{i=0}^n\frac{|y_i-\widehat{y_i}|}{y_i}\end{array}$$
6. 决定系数 - coefficient of determination
   由RSS(residual sum of squares)，TSS(total sum of squares)组成，$\widehat{y_i}$表示预测值，$\overline{y_i}$表示均值
   $$\begin{array}{rl}& R-squared=1-\frac{RSS}{TSS}\\ & RSS=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2\\ & TSS=\sum _{i=1}^n(y_i-\overline{y_i}{)}^2\end{array}$$

参考 回归问题常用的性能度量指标

3. 分类问题常用的性能度量指标

准确率：$\begin{array}{r}Accuracy=\frac{TP+TN}{TP+FN+FP+TN}\end{array}$
精确率(查准率)：$\begin{array}{r}Precision=\frac{TP}{TP+FP}\end{array}$
召回率(查全率)：$\begin{array}{r}Recall=\frac{TP}{TP+FN}\end{array}$
真正例率(TPR)：$\begin{array}{r}TPR=\frac{TP}{TP+FN}\end{array}$
假正例率(FPR)：$\begin{array}{r}FPR=\frac{FP}{TN+FP}\end{array}$
F1: $\begin{array}{r}F1=\frac{2\ast Precision\ast Recall}{Precision+Recall}\end{array}$

参考 分类问题常用的性能度量指标

4. 逻辑回归的损失函数

参考 逻辑回归中的损失函数的解释

5. 逻辑回归可以处理多标签分类问题么？

参考 逻辑回归如何处理多标签分类问题