线性回归算法概述

线性回归算法概述

---

一、简单了解线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。

---

二、来看一个例子

假设银行会根据工资和年龄来限定贷款额度，请解决两个问题：

1. 银行会带给我多少钱？

2. 工资和年龄对贷款额度有多大的影响？

---

三、思考的过程

数据：工资和年龄（2个特征）

目标：银行会给我多少钱（标签）

考虑：工资和年龄都会影响贷款的额度，他们各自有多大的影响（参数）

---

什么是回归呢？回归就是一个预测出来的值。比如给定年龄和工资，根据计算预测出贷款额度，这个额度就是回归。

---

什么又是分类呢？还是上面那个例子，现在问题不是银行带给我多少钱，而是变成了银行愿不愿意贷款给我。分类就把人分为了两类：贷款给你和不贷款给你。

分类得出的是类别值，回归得出的是某个区间上的具体值。

---

设工资为$X$_{$1$，年龄为$X$$2$，额度为$Y$。}

---

$X$_$1$，$X$_$2$就是我们的两个特征（年龄，工资），$Y$是银行最终借给我们的钱。找到最好的一条线来最好地拟合数据。

假设$\theta$_$1$是年龄的参数，$\theta$_$2$是工资的参数。则拟合的平面为：

---

$h$_$0$($x$) = $\theta$_$0$ + $\theta$_$1$$x$_$1$ + $\theta$_$2$$x$_$2$ （$\theta$_$0$是偏置项）

---

其中$\theta$_$0$对结果影响较小，主要影响因素是$\theta$_$1$和$\theta$_$2$。

---

整合：$h$_$0$($x$) = $\sum_{i=0}^{n}{\theta_ix_i}$ = $\theta$^T$x$

---

其中$h$_$0$(x) = $\sum_{i=0}^{n}{\theta_ix_i}$ = $\theta$_$0$ $x$_$0$ + $\theta$_$1$ $x$_$1$ + $\theta$_$2$ $x$_$2$ 。

---

与上式进行比较，发现第一项变成了$\theta$_$0$$x$_$0$。解决的办法，就是在数据中多添加一列，所有值为1。即变成$\theta$ _{0 <script type="math/tex" id="MathJax-Element-62">0</script>}，与上式一样。

---

最后再变成矩阵相乘的形式。因为矩阵的运算方便而且快速。