人工智能实验——线性回归

实验内容

（1）描述线性回归原理，并给出关键公式推导
（2）处理Salary数据，写清楚实验步骤
Salary_Data.csv
（3）分析回归误差，并画出线性回归图和误差曲线（均方跟误差）

问题1

线性模型的一般形式：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
向量表示：
$$f(x)=w^{T}x+b$$
线性模型的优点：

1. 形式简单、易于建模
2. 可解释性
3. 是非线性模型的基础，可以在线性模型的基础上引入层级结构或高维映射

单一属性的线性回归目标：
$$f(x)=w{x}_i+b使得f\left(x_i\right)\simeq y_i$$
参数/模型估计：最小二乘法
$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$
最小化均方误差：
$$E_{(w,b)}=\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$$
分别对ω和b求导，得：
$$\frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)$$
$$\frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)$$
令导数等于0，得到closed-form解
$$w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}b=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right)$$

问题2

1. 提取数据并初始化$w$、$b$，初始值均为0

points = np.genfromtxt("Salary_Data.csv", delimiter=",")
x_mean = 0
y_mean = 0
w = 0
b = 0

2. 计算出横坐标$x$及纵坐标$y$的均值记作$x\_mean$和$y\_mean$

for i in range(0,len(points)):
    x_mean += points[i,0]
    y_mean += points[i,1]
    x_mean/=len(points)
    y_mean/=len(points)

3. 利用上述推导公式求出最小二乘法的$w$、$b$

for i in range(0,len(points)):
    w += (points[i,0]-x_mean)*(points[i,1]-y_mean)
    b += (points[i,0]-x_mean)**2
W = w/b
B = y_mean-W*x_mean

4. 利用$plt$函数库画出回归曲线并分析误差大小

plt.scatter(i,compute_error(y_mean-(w/b)*x_mean, w/b, points))
print("误差大小为{0}".format(compute_error(y_mean-(w/b)*x_mean, w/b, points)))

问题3

线性回归图如下：

误差散点图如下：