机器学习:1、线性回归--波士顿房价预测

目录

前言

线性回归理论推导

波士顿房价预测

matlab2021实现

python实现

---

---

前言

        包含线性回归的梯度下降与正规方程的理论推导。

        波士顿房价预测示例 matlab2021a版本 + juptype  python版本        

        全部的内容如下:因为无法上传pdf，公式再打一遍太折磨了，直接上传了markdown里的内容，以及juptype转为了py导出的版本。复制粘贴可能部分换行符可能修改。

        全部的代码、数据集、理论推导pdf文件：Regression.7z-机器学习文档类资源-CSDN文库

---

线性回归理论推导

        为markdown格式的，在在线编辑器里面可以查看。或者下载文件里有导出的pdf版。

        正规方程证明:        ​​​​​​​

 

**回归与分类 *Regression/classification***    *2021-10-05*

​		连续与离散

## *Linear Regression*线性回归

### 一次线性回归

>一次线性代价函数关于两个自变量的图，3D曲面图，仅有全局最优解。对应一个特征，一次偏导计算很简单。

***hypothesis function* 假设函数:**
$$
{H}_{({θ}_{0},{θ}_{1})}({x}_{i})\, =\, {θ}_{0}+{θ}_{1}*{x}_{i} 
$$

***cost function* 代价函数:**

$$
{J}_{({x}_{i})}({θ}_{0},{θ}_{1})\, =\frac {1} {2m}\sum ^{m}_{i=1} {
  {[H}_{({θ}_{0},{θ}_{1})}}({x}_{i})\, -y({x}_{i}){]}^{2} 
$$


**优化目标*minimisize***

$$
min({J}_{({θ}_{0},{θ}_{1})}({x}_{i})\, )\, \, \, for\, {θ}_{0}{,θ}_{1} 
$$

***Batch gradient descent Model* 梯度下降**

​		全览数据集

$$
{θ}_{j}\, =\, {θ}_{j}\, -\, α\, *\, \frac {\partial (J({θ}_{0},{θ}_{1}))} {\partial {θ}_{j}}\, \,  
$$


$$
\frac {\partial (J({θ}_{0},{θ}_{1}))} {\partial {θ}_{j}}\, \, =\, \frac {1} {m}\sum ^{m}_{i=1} {[H({x}_{i})-y({x}_{i})]}\, *{x}_{i} 
$$

>1、α为学习率，随着迭代进行，在靠近局部最优处，梯度(斜率)不断减小至0，因此不必要设置α减小。
>
>2、对每一个参数同时进行梯度下降，而不是更新完一个利用新参数更新下一个参数
>
>3、θ0 对应的 x 可以认为全1

___
___
### *Multiple features variables* 多特征

1、*Gradient Descent* 梯度下降方法  

​		类似一次回归模型。设m组数据(样本),n个特征,加上偏置,共需寻找n+1个最优参数(假设时候依然采用n,无影响)。同理可以设置偏置对应的数据为1。

​		***hypothesis function* 假设函数:**

$$
{H}_{({θ}_{1},{θ}_{2},\cdot \cdot \cdot {θ}_{n})}({X}_{i})\, =\, {θ}_{1}*{x}^{i}_{1}+\, {θ}_{2}*{x}^{i}_{2}+\cdot \cdot \cdot +{θ}_{n}*{x}^{i}_{n}\, (i=1,\cdot \cdot \cdot ,m) 
$$

$$
\frac {\partial (J({θ}_{1},\cdot \cdot \cdot ,{θ}_{n}))} {\partial {θ}_{j}}\, \, =\, \frac {1} {m}\sum ^{m}_{i=1} {[H({x}_{i})-y({x}_{i})]}\, *{x}^{i}_{j}\, (1\ll i\ll m,\, 1\ll j\ll n) 
$$

​		矩阵运算有: