线性回归和逻辑回归原理和推导

线性模型介绍

 线性模式是试图学得一个通过属性的线性组合来进行与预测的函数

即

$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$

 向量形式写成

$$f(x)=w^{T}x+b$$

  线性模型形式简单、易于建模、具有很好的可解释性，而线性回归、逻辑回归都是经典的线性模型。

线性回归

现在假设有如下数据

X1	X2	...	Y
a1	b2	...	y1
a1	b2	...	y2
...	...	...	...

“线性回归”试图学得一个线性模型以尽可能准确地预测实值输出标，设置拟合平面(即找到一条合适的直线来拟合数据)：

$$H_{\theta }(X)={\theta }_0+{\theta }_1{X}_1+{\theta }_2{X}_2+...$$

$$1、{\theta }_0是偏置项(上下浮动，与数据无关)，对结果影响小。$$
$$2、{\theta }_1和{\theta }_2是特征参数(权重参数)，对结果影响较大。$$
$$3、X_1和X_2是特征数据。$$

对数据进行整合得：

$$H_{\theta }(x)=\sum {\theta }_{i}2x_i={\theta }^{T}X={\theta }_0{x}_0+{\theta }_1{X}_1+{\theta }_2{X}_2+..$$

$$给原式增加了一列x_0，而x_0这一列值都为1，即{\theta }_0{x}_0={\theta }_0值还是没有改变$$

误差

     真实值和预测值之间的差异，用 ϵ 表示，它是独立的并且具有相同的分布函数，服从均值 μ=1、方差 σ²=0 的高斯分布(正态分布) N(0，1)。
对每个样本：
$$y^i={\theta }^T{x}^i+{ϵ}^i(1)$$
$$y^i为真实值,{\theta }^T{x}^i为预测值$$
因为误差服从高斯分布：
$$p({ϵ}^i)=\frac{1}{\sqrt{2}\pi {\sigma }^2}{e}^{-\frac{({ϵ}^i{)}^2}{2{\sigma }^2}}(2)$$
将(1)带入(2)中得：
$$p(y^i|x^i;\theta )=\frac{1}{\sqrt{2}\pi {\sigma }^2}{e}^{-\frac{(y^i-{\theta }^T{x}^i{)}^2}{2{\sigma }^2}}$$
引入似然函数：
$$求解出什么样的参数跟数据组合后更加接近真实值$$
$$L(\theta )=\prod _{i=1}^{m}p(y^i|x^i;\theta )$$
$$=\prod _{i=1}^m\frac{1}{\sqrt{2}\pi {\sigma }^2}{e}^{-\frac{(y^i-{\theta }^T{x}^i{)}^2}{2{\sigma }^2}}$$
引入最大似然函数：
$$求解出什么样的概率可以让结果成为真实值的概率越大越好$$
引入对数似然：
$$可以将似然函数中的累乘\prod 转换为\sum ，方便进行计算$$
下面是推导过程：

逻辑回归

    逻辑回归与线性回归进行回归学习不同，它做的是分类任务
引入Sigmoid函数
$$g(z)=\frac{1}{1+e^{-z}}$$
$$z={\theta }^{T}x$$

Sigmoid函数的作用

   我们在线性回归中可以得到预测值，通过Sigmoid函数我们可以把这些预测值映射到0-1的取值区间上，完成由值到概率的转换，也就是分类任务。但是这些预测值必须是实数。

   我们以二分类为例，假设有 y = 1 和 y = 0 两种可能，下面为两种取值的概率：
$$y=1的概率：p(y=1|x;\theta )=h_{\theta }(x)$$
$$y=0的概率：p(y=0|x;\theta )=1-h_{\theta }(x)$$
$$整合后的概率：p(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$
整合后概率解释：
$$对于二分类任务(0,1)整合后$$
$$y=0时表达式为：p(y|x;\theta )=1-h_{\theta }(x)$$
$$y=1时表达式为：p(y|x;\theta )=h_{\theta }(x)$$
$$这和我们刚开始定义的一致$$
接着和线性回归的推导类似，分别引入似然函数和对数似然

似然函数：
$$L(\theta )=\prod _{i=1}^{m}p(y_i|x_i;\theta )=\prod _{i=1}^m(h_{\theta }(x_i){)}^{y_i}\cdot (1-h_{\theta }(x_i){)}^{1-y_i}$$
对数似然和后面的推导如下：

    通过以上分析，我们可以看出线性模型中两种不同模型线性回归、逻辑回归之间的区别、使用范围和推导。

    上述公式中出现的log函数应该是ln,如果还有其他错误，希望大家多多指正。