监督学习
监督学习的非形式定义:给定一个训练集,其中包括一个输入向量
x=(x1,x2,...)T
和输出变量
y
,经过训练之后,获得一个模型。使用该模型预测新变量
若 y 的取值范围是一个有限的离散集合,则此类监督学习被称之为分类。
若
y 取值连续,则其应该被表示为 x 的函数。此时需用拟合的方式获得模型,这种监督学习被称之为回归(Regression)。
线性回归
样本集合
假设输入
h(x)=θ0x0+θ1x1+θ2x2 。通常为向量 x 增加一个常量属性
x0=1 。或者 h(x)=Σni=0θixi 。 n=#features ,表示属性向量中元素的数目。
对于线性回归,面临的问题就是:如何通过选择参数 θ ,来保证拟合的准确性?可以为拟合定义一个代价函数: J(θ)=(1/(2m))Σmi=1(hθ(x(i))−y(i))2 。 m <script id="MathJax-Element-23" type="math/tex">m</script>为训练集中元素的数目。