机器学习——如何评价假设函数h(x)

当你的假设函数有很低的“训练错误”（training error）的时候，它不一定是个好的假设函数

如

\[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\]

这种现象称为“过拟合”（overfit），这种情况会对新的数据产生较大的误差

---

如何检查假设函数？

如果可以将假设函数画出来就可以比较直观的看出它的问题了，但是如果特征较多就无法画出来。

通常的做法是：

假设有如下数据集

Size	Price
2104	400
1600	330
2400	369
1416	232
3000	540
1985	300
1534	315
1427	199
1380	212
1494	243

 

现在又10组数据，选取其中7个作为训练集（training set），剩下的三个作为测试集（test set）。一般情况下选取数据的70%作为训练集，30%作为测试集。

接下来对算法（比如线性回归）进行训练和测试

• 运用训练集学习得到参数θ（通过最小化代价函数J(θ)）
• 计算测试集误差J_test(θ)
• 对于分类问题可以定义err(h_θ(x), y)，定义测试误差（test error）为所有测试样本误差的平均值

\[err\left( {{h_\theta }\left( x \right),y} \right) = \left\{ {\begin{array}{*{20}{c}}
1如果h(x)≥0.5,y=0或者h(x)<0.5,y=1\\
0如果h(x)<0.5,y=0或者h(x)≥0.5,y=1
\end{array}} \right.\]

 \[Testerror = \frac{1}{{{m_{test}}}}\sum\limits_{i = 1}^{{m_{test}}} {err\left( {{h_\theta }\left( {x_{test}^{\left( i \right)}} \right),y_{test}^{\left( i \right)}} \right)} \]

转载于:https://www.cnblogs.com/qkloveslife/p/9883582.html