机器学习——线性和逻辑回归算法

线性回归算法

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
我们往往可以从数据中可以得到变量，我们可以找到一条合适的线（也可以拟合一个平面具体依维数而定）

假设对数据影响的参数，对拟合曲线（一维）进行参数表示，即h(x)=θ0+θ1x，x为数据，h(x)为预测值，θ1为参数，θ0是偏置项与数据无关。

整合：h(x)=θ0x0+θ1x1+···+θnxn，因为θ0是偏置项，所以x0为1，在机器学习的过程中为了数据很好的拟合到我们所整合的方程，数据中往往会多加一项值为一的数据x0。而最后为了计算的简介往往整合为矩阵算法即：h(x)=xθ^T

误差
真实值和预测值之间肯定是要存在差异的（用ε表示该误差）
对于每个样本：y(i)=θ^Tx(i)+ε(i),即：每个样本有每个样本的误差

·误差（ε(i)）式独立并且就有相同的分布，并且服从均值为0方差为θ^2的高斯分布
·独立：每组数据误差之间互不影响，相互独立
同分布：每组数据误差的分布情况是相同（分布在相同位置的概率相同）
·高斯分布：因为数据预测值和真实值会有误差，而这些误差整体分布呈现正态分布，

因为误差服从高斯分布，所以由预测与误差关系将数据整合通过误差代入到高斯分布中去

代入似然函数（概率论知识），代入已知数据求参数，似然函数相当于可能性与参数θ的方程，经变换（取对数使得乘法变成加法，降低计算的复杂度）在取得拟合可能性最大时取参数


得到参数，即得到拟合曲线。（此处使用的是通式，即结果格式可泛用）

逻辑回归算法

目的：经典的二分类算法

机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的

逻辑回归的决策边界：可以是非线性的

Sigmoid函数

公式：

自变量取值为任意实数，值域[0,1]

解释：将任意的输入映射到了[0,1]区间

我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换，也就是分类任务

预测函数的自变量为数据x与参数结合后得到的预测值θ^Tx，结果作为分类的概率，即数据对应分类为1的概率为h(x)。（此处以多维为例，即一组数据的参数有多个θ0，θ1，···θn）
再将上述整合的概率表达式代入似然函数
减小计算复杂度采用对数似然
然后同理，此处应用梯度上升求最大值，引入其它函数转化为梯度下降任务
（此处使用的是通式，即结果格式可泛用）


**注：**每个θj（j=0,1,…,n，n的值取决于一组数据中有几个特征，即几个参数）都要求一次偏导

我们通过导入数据求出每组数据对应的参数（θ0，θ2，···，θn）
然后再更新为对应已导入的全部数据的拟合参数，通过不断更新，当最后一组已知数据导入后，我们就得到了对应已知全部数据的拟合参数（θ0，θ2，···，θn）