算法进阶--回归

线性回归

• 最小二乘理解过程：

如对房价的预测:

Living area($fee{t}^2$)	bedrooms	Price(1000$/s)
2104	3	400
1600	3	330
…	…	…
…	…	…

此时通过对面积与卧室个数可以建立一个线性回归来对房价进行预测，预测值为$h_{\theta }(x)$：
如：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$
如果有n个特征，则转换为：(将$\theta$和特征$x$是行向量的)
$$h_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$$

同时也有：(真实房价$y$=预测房价${\theta }^{T}x$+误差${ϵ}_i$)
$$y={\theta }^{T}x+{ϵ}_i$$

( 式1.1）

假设样本之间都是独立的，则误差${ϵ}_i$也是独立同分布的，
则根据中心极限定理，误差${ϵ}_i$服从高斯分布（正太分布），则：
$${ϵ}_i～N（0，{\sigma }^2）$$(均值为0，方差为某定值${\sigma }^2$)

则${ϵ}_i$的概率密度函数为：
$$p({ϵ}_i)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{{{ϵ}_i}^2}{2\sigma {}^2})$$
根据式1.1：
$$p(y_i|x_i;\theta )=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(y_i-\theta {}^T{x}_i{)}^2}{2\sigma {}^2})$$
则有：（因样本之间是iid，则$p(y_1,y_2...y_m)$的联合概率分布为：$L(\theta )$）:
$$L(\theta )$$