【机器学习】线性回归的基本概念

机器学习 多元线性回归

---

---

前言

本文作为自己学习人工智能的开端，学习并掌握及机器学习的相关内容，逐渐了解机器学习，掌握相关的技术，从零开始，逐渐成长

---

一、基本概念

线性回归是机器学习中有监督机器学习下的一种算法，回归问题主要关注的是因变量（需要预测的值，可以是一个或者多个）和一个或多个数值型的**自变量（预测变量）**之间的关系。
需要预测的值：即目标变量，target,y,连续值预测变量
影响目标变量的因素：X1…Xn,可以是连续值也可以是离散值
因变量和自变量之间的关系：也就是模型，model，是我们要求解的

1. 连续值

连续的，不间断变化的值，表现在坐标系上可以表示为连续的不间断的线

2. 离散值

间断的，表现在坐标系上可以表示为各自独立的点。

3. 简单线性回归

$y=\omega x+b$为对应的公式。
- 其中$y$是目标变量，也就是未来要预测的值
- $x$是影响$y$的因素，w,b是公式上的参数也就是要求的模型

4. 最优解

Actual value:真实值，一般用y来表示。
Predicted value:预测值，是把已知的$x$带入到公式里面和猜出来的参数w，b计算得到的，一般用$y$表示
Error:误差，预测值与真实值的差距，一般采用$\epsilon$表示
最优解：尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失Loss
Loss:整体的误差，Loss通过损失函数Loss function计算得到

5. 多元线性回归

现实生活中，往往影响结果y的因素不止一个，这时x就从一个变成了n个，$X_1$…$X_n$同时简单线性回归的公式也就不再适用了，多元线性回归公式如下：
$$y={\omega }_1{X}_1+{\omega }_2{X}_2+...+{\omega }_n{X}_n+b$$
b是截距，也可以用$w_0$表示
$$y={\omega }_1{X}_1+{\omega }_2{X}_2+...+{\omega }_n{X}_n+{\omega }_0$$
$$y={\omega }_1{X}_1+{\omega }_2{X}_2+...+{\omega }_n{X}_n+{\omega }_0\ast 1$$
使用向量来表示，X表示所有的变量，是一维变量，W表示所有的系数（包含$w_0$）,是一维向量，根据向量乘法规律，可以这么写
$$y=W^{T}X$$

二、正规方程

1.最小二乘法矩阵表示

$y_i$表示真实值，$h_{\theta }(x_i)$表示预测的值，模型、算法，线性回归，方程
最小二乘法可以将误差方程转化为有确定解的代数方程组（其方程式的数目正好等于未知数的个数），从而可以求接触这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程。公式如下：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$W=(X^{T}X{)}^{-1}{X}^{T}y$$
最小二乘法的公式表示：
$$J(\theta )=\frac{1}{2}\sum _{i=0}^n(h_{\theta }(x_i)-y_i{)}^2$$
其中：
$y=h_{\theta }(X)=X\theta$表示全部数据，是矩阵，X表示多个数据，进行矩阵乘法时，放在前面
$y_i=h_{\theta }(X^{(i)})={\theta }^T{x}^{(i)}$表示第i个数据，是向量，所以进行乘法时，其中一方需要进行转置
因为最大似然公式中有个负号，所以最大总似然成了最小化负号后面的部分，到这里，我们就已经推导出来了。
使用矩阵表示：
$$J(\theta )=\frac{1}{2}\sum _{i=0}^n(h_{\theta }(x_i)-y)(h_{\theta }(x_i)-y)$$
$$J(\theta )=\frac{1}{2}(X\theta -y)(X\theta -y)$$

2.多元一次方程举例

1. 二元一次方程组如下：
   $$\{\begin{array}{l}x+y=14\\ 2x-y=10\end{array}$$
   3.三元一次方程组如下：
   $$\{\begin{array}{l}x-y+z=100\\ 2x+y-z=80\\ 3x-2y+6z=256\end{array}$$