线性回归算法
回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。
我们往往可以从数据中可以得到变量,我们可以找到一条合适的线(也可以拟合一个平面具体依维数而定)
假设对数据影响的参数,对拟合曲线(一维)进行参数表示,即h(x)=θ0+θ1x,x为数据,h(x)为预测值,θ1为参数,θ0是偏置项与数据无关。
整合:h(x)=θ0x0+θ1x1+···+θnxn,因为θ0是偏置项,所以x0为1,在机器学习的过程中为了数据很好的拟合到我们所整合的方程,数据中往往会多加一项值为一的数据x0。而最后为了计算的简介往往整合为矩阵算法即:h(x)=xθ^T
误差
真实值和预测值之间肯定是要存在差异的(用ε表示该误差)
对于每个样本:y(i)=θ^Tx(i)+ε(i),即:每个样本有每个样本的误差
·误差(ε(i))式独立并且就有相同的分布,并且服从均值为0方差为θ^2的高斯分布
·独立:每组数据误差之间互不影响,相互独立
同分布:每组数据误差的分布情况是相同(分布在相同位置的概率相同)
·高斯分布:因为数据预测值和真实值会有误差,而这些误差整体分布呈现正态分布,
因为误差服从高斯分布,所以由预测与误差关系将数据整合通过误差代入到高斯分布中去
代入似然函数(概率论知识),代入已知数据求参数,似然函数相当于可能性与参数θ的方程,经变换(取对数使得乘法变成加法,降低计算的复杂度)在取得拟合可能性最大时取参数
得到参数,即得到拟合曲线。(此处使用的是通式,即结果格式可泛用)
逻辑回归算法
目的:经典的二分类算法
机器学习算法选择:先逻辑回归再用复杂的,能简单还是用简单的
逻辑回归的决策边界:可以是非线性的
Sigmoid函数
公式:
自变量取值为任意实数,值域[0,1]
解释:将任意的输入映射到了[0,1]区间
我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换,也就是分类任务
预测函数的自变量为数据x与参数结合后得到的预测值θ^Tx,结果作为分类的概率,即数据对应分类为1的概率为h(x)。(此处以多维为例,即一组数据的参数有多个θ0,θ1,···θn)
再将上述整合的概率表达式代入似然函数
减小计算复杂度采用对数似然
然后同理,此处应用梯度上升求最大值,引入其它函数转化为梯度下降任务
(此处使用的是通式,即结果格式可泛用)
**注:**每个θj(j=0,1,…,n,n的值取决于一组数据中有几个特征,即几个参数)都要求一次偏导
我们通过导入数据求出每组数据对应的参数(θ0,θ2,···,θn)
然后再更新为对应已导入的全部数据的拟合参数,通过不断更新,当最后一组已知数据导入后,我们就得到了对应已知全部数据的拟合参数(θ0,θ2,···,θn)