一、单变量线性回归
1.1 训练集
由训练样例组成的集合就是训练集,如下图所示,其中(x,y)是一个训练样例, (x(i),y(i))是第i个训练样例
1.2假设函数
使用某种学习算法对训练集的数据进行训练, 我们可以得到假设函数(Hypothesis Function), 如下图所示. 在房价的例子中,假设函数就是一个房价关于房子面积的函数。有了这个假设函数之后, 给定一个房子的面积我们就可以预测它的价格了。
为了方便h(x) = a+bx
这个模型就叫做单变量的线性回归
二.代价函数
2.1什么是代价函数
只要我们知道了假设函数, 我们就可以进行预测了. 关键是, 假设函数中有两个未知的量θ0,θ1, 当选择不同的θ0和θ1时, 我们模型的效果肯定是不一样的. 如下图所示, 列举了三种不同的θ0,θ1下的假设函数.
当选择某个
θ
0
θ_0
θ0和
θ
1
θ_1
θ1,使得对于训练样例
(
x
,
y
)
(x,y)
(x,y),
h
θ
(
x
)
h_θ(x)
hθ(x)最接近
y
y
y。越是接近,代表这个假设函数越是准确,这里我们选择均方误差作为衡量标准,即想要每个样例的估计值与真实值之间差的平方的均值最小。用公式表达为:
m
i
n
i
m
i
n
z
e
θ
0
,
θ
1
1
2
m
∑
i
=
0
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
miniminze_{\theta0,\theta1}\frac{1}{2m}\sum_{i=0}^{m}(h_\theta(x^{(i)})-y^{(i)})^2
miniminzeθ0,θ12m1i=0∑m(hθ(x(i))−y(i))2
这样就得到了我们的代价函数(cost function),也就是我们的优化目标,我们想要代价函数最小:
m
i
n
i
m
i
n
z
e
θ
0
,
θ
1
J
(
θ
0
,
θ
1
)
miniminze_{\theta0,\theta1}J(\theta0,\theta1)
miniminzeθ0,θ1J(θ0,θ1)
2.代价函数与假设函数
为了方便探究 h θ ( x ) h_\theta(x) hθ(x)和 J ( θ 0 , θ 1 ) J(\theta_0,\theta_1) J(θ0,θ1)的关系,先是令 θ 0 \theta_0 θ0等于0,得到了简化后的假设函数,有假设函数的定义可知此时的假设函数是经过原点的直线,相应的得到了简化的代价函数。
计算梯度
根据定义,梯度就是代价函数对每个θ的编号:
我们将hθ(x(i))=θ0+θ1x(i)带入到J(θ0,θ1)中,并且分别对θ0,θ1求导得: