线性回归有一个训练集,我们选择了线性回归,那么要如何选择合适的参量使得我们的预测更为准确呢??
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190321095406501.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hkMTUwMTAxMzAwMjU=,size_16,color_FFFFFF,t_70)
引入
选择的依据
我们知道了现有的数据是准确的,那么预测就要以现有的数据为根基,尽量的贴合现有的数据,使得差距最小,怎么衡量这个差距呢???我们把 ∑ i = 1 i = m ( h ( x i ) − y i ) 2 \sum_{i=1}^{i=m}(h(x^i)-y^i)^2 i=1∑i=m(h(xi)−yi)2
h
(
x
i
)
h(x^i)
h(xi)代表预测的第i个值,
y
i
y^i
yi代表实际的第i个值。
这个函数称为平方和误差函数,我们要想办法求得这个函数最小的
θ
0
\theta_0
θ0和
θ
1
\theta_1
θ1
平均平方和误差
为了方便,我们又给出了平均平方和误差的概念
我们把
1
2
m
∑
i
=
1
i
=
m
(
h
(
x
i
)
−
y
i
)
2
\frac{1}{2m}\sum_{i=1}^{i=m}(h(x^i)-y^i)^2
2m1i=1∑i=m(h(xi)−yi)2称之为平均平方和误差,之所以是
1
2
m
\frac{1}{2m}
2m1,是因为带了平方,后面要用梯度下降法,要求导,这样求导多出的乘2就和二分之一抵消了,一个简化后面计算的技巧
代价函数的定义
我们把
J
(
θ
0
,
θ
1
)
=
1
2
m
∑
i
=
1
i
=
m
(
h
(
x
i
)
−
y
i
)
2
J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{i=m}(h(x^i)-y^i)^2
J(θ0,θ1)=2m1i=1∑i=m(h(xi)−yi)2称之为代价函数,我们求得就是使这个值最小的
θ
0
\theta_0
θ0和
θ
1
\theta_1
θ1。