线性回归与逻辑回归

线性回归与逻辑回归参考

一，机器学习

利用大量的数据样本，使得计算机通过不断的学习获得一个模型，用来对新的未知数据做预测。

• 有监督学习（分类回归）
• 无监督学习（聚类）
• 强化学习

二，线性回归

• 单变量情况
• 多变量情况
  二维空间的直线，转化为高维空间的平面

损失函数

为凸函数，但多元情况下容易出现局部极值，求极值用梯度下降法

梯度下降法

①初始位置选取很重要
②不断迭代更新θ

• 学习率
  学习率太大，会跳过最低点，可能不收敛
  学习率太小收敛速度过慢
• 过拟合
  ①如果有很多的特征，或者模型很复杂，则假设函数曲线可能对训练样本拟合的非常好，学习能力太强了，但是丧失了一般性
  ②训练样本中肯定存在噪声点，如果全都学习的话肯定将噪声也学习进去
  过拟合是给参数的自由空间太大了，可以通过简单的方式让参数变化太快，而没有学习到底层的规律，模型抖动太大，很不稳定，对新数据没有泛化能力

正则化解决过拟合

正则化的作用：
①控制参数变化幅度，对变化大的参数惩罚
②限制参数搜索空间
添加正则化的损失函数：

m: 有m个样本
n: n个参数，对n个参数进行惩罚
λ: 对误差的惩罚程度，λ越大对误差的惩罚越大，容易出现过拟合，λ越小，对误差的惩罚越小，对误差的容忍度越大，泛化能力好。λ不宜过大

三，逻辑回归

监督学习，解决二分类问题
本质：在空间中找到一个决策边界来完成分类的决策
线性回归可以预测连续值，但是不能解决分类问题，我们需要根据预测的结果判定其属于正类还是负类

逻辑回归的损失函数

①线性回归的损失函数为平方损失函数，如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求最优。

②Sigmoid 函数自身的性质

因为这是一个最简单的，可导的，0-1阶跃函数

sigmoid 函数连续，单调递增

sigmiod 函数关于（0，0.5） 中心对称

对sigmoid函数求导简单

逻辑回归损失函数：对数损失函数

解释：如果一个样本为正样本，那么我们希望将其预测为正样本的概率p越大越好，也就是决策函数的值越大越好，则logp越大越好，逻辑回归的决策函数值就是样本为正的概率；

如果一个样本为负样本，那么我们希望将其预测为负样本的概率越大越好，也就是(1-p)越大越好，即log(1-p)越大越好。
为什么要用log
样本集中有很多样本，要求其概率连乘，概率为(0,1)间的数，连乘越来越小，利用log变换将其变为连加，不会溢出，不会超出计算精度

逻辑回归实现多分类

多个分类器

• 一对一
• 一对多

LR逻辑回归和SVM的关系

1.LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）
2.如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的
3.都是监督学习算法，都是判别模型

区别：
1.本质上是loss function不同

逻辑回归方法基于概率理论，假设样本为1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值；

支持向量机基于几何间隔最大化原理，认为存在最大几何间隔的分类面为最优分类面

2.支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的确定也起作用）
3.在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法
4.SVM的损失函数就自带正则
逻辑回归正则化与线性回归正则化参考