先看线性回归
这里的n表示该样本有n维特征。
目标函数
这里的i表示第i个样本。
为了求目标函数最小,采用梯度下降迭代,为了方便,假设只有一个样本
参数
θi
θ
i
更新,
在m个样本的情况下,
这样的梯度下降 每次更新都需要所有样本,称为批梯度下降。当样本数量多的时候,训练慢。
随机梯度下降法:它的具体思路是在更新每一参数时都使用一个样本来进行更新,
但是随机梯度下降法不能得到最优解,只会在最优解附近徘徊。
局部加权线性回归,将目标函数添加权值修改为,
其中,
当 (x(i)−x) ( x ( i ) − x ) 很小的时候, w(i) w ( i ) 接近1,反之接近0。也就是说,距离x越近的样本 x(i) x ( i ) 获得的权值越高。
解释一下为什么用误差的平方和作为目标函数,
首先,
但是由于会有误差,所以还要加上一个误差项,
根据中心极限定理,由于误差项是好多好多相互独立的因素影响的综合影响,我们有理由假设其服从高斯分布,而且均值是0,方差为某个定值
δ2
δ
2
因此,概率密度函数为,
也就是,
在给定一个
θ
θ
,在
x(i)
x
(
i
)
的情况下,类别为
y(i)
y
(
i
)
的概率。
误差项又是相互独立的,那么
ξi
ξ
i
似然函数,
对数似然,
为了使 l(θ) l ( θ ) 极大,也就是让 (y(i)−θTx(i))22=J(θ) ( y ( i ) − θ T x ( i ) ) 2 2 = J ( θ ) 极小,这也就是损失函数。
逻辑斯蒂回归是一个分类算法,以二分类为例,
y∈{0,1}
y
∈
{
0
,
1
}
,有了线性回归的基础,那么逻辑斯蒂回归就是要让
hθ(x)
h
θ
(
x
)
的值在0~1闭区间。即,
其中
g
g
函数称为logistic函数,或者sigmoid函数。
y取1的概率等于,取0的概率为
1−hθ(x)
1
−
h
θ
(
x
)
,即,
似然函数,
对数似然,
梯度下降法 ,参数迭代,
线性回归和逻辑斯蒂回归迭代方式表面上一模一样,但是 hθ h θ 函数并不相同。