面试总结（2）--逻辑回归、线性回归、CNN、LSTM、GRU、激活函数

一.LR推导

逻辑回归本质上是线性回归，只是在特征到结果的映射种加入一层逻辑函数g(z)。即先把特征线性求和，然后使用函数g(z)作为假设函数预测。g(z)为sigmoid函数

sigmoid导数如下：

• 逻辑回归为什么用sigmoid函数？

优点：实现简单，Sigmoid函数是平滑的，可以无限求导。可以从（-∞，+∞）映射到（0，1），符合概率分布

缺点：导数在（0，0.25），容易出现梯度消失；只能处理二分问题

逻辑回归认为函数其概率服从伯努利分布，将其写成指数族分布的形式。能够推导出sigmoid函数的形式。

• 逻辑回归损失函数？（极大似然函数）

二.线性回归

表达式：y=wx+b

损失函数：

多元线性回归参考moonbaby博客--多元回归

三.LR与线性回归的区别

线性回归用来做预测，LR用来做分类。线性回归用来拟合函数，LR用来预测函数。线性回归用最小二乘法计算参数，LR用最大似然估计计算参数。线性回归易受到异常值影响，LR对异常值较好稳定性。

线性回归是解决回归问题。 结果是连续型，主要解决房租预测等问题。

逻辑回归是分类问题，不是回归问题，结果是离散型，主要解决二分类问题。

四.CNN

Relu

在每个卷积层之后，通常会立即应用一个非线性层（或激活层）。其目的是给一个在卷积层中刚经过线性计算操作（只是数组元素依次（element wise）相乘与求和）的系统引入非线性特征。

池化层

夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。
简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。

卷积神经网络优点及CNN介绍

参考https://blog.csdn.net/qq_32793701/article/details/82192957

五.LSTM

参考moonbaby博客--LSTM

六.常见激活函数及区别

1.激活函数

激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增

加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘。

2.为什么使用激活函数

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。

如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

3.常见激活函数

• Sigmoid函数

它能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1.

缺点：

1. 容易导致梯度消失
2. Sigmoid 的输出不是0均值

问：梯度消失和梯度爆炸？改进方法。
解决梯度爆炸：
a.可以通过梯度截断。通过添加正则项。
解决梯度消失：
a.将RNN改掉，使用LSTM等自循环和门控制机制。
b.优化激活函数，如将sigmold改为relu
c.使用batchnorm
d.使用残差结构

• Tanh函数

和sigmoid差不多，但值域为[-1,1]
解决了Sigmoid函数的不是zero-centered输出问题。
梯度消失和幂运算的问题仍然存在

Relu激活函数

1. 解决了梯度消失问题
2. 计算速度非常快，只需要判断输入是否大于0
3. 收敛速度远快于sigmoid和tanh，因为这两个梯度最大为0.25，而relu为1

缺点：

1. 输出不是zero-centered
2. 原点不可导

参考常见激活函数及其优缺点