TensorFlow学习一 --- 线性回归

TensorFlow学习一 — 线性回归

一、了解回归问题

1.1什么是回归模型

回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

1.2回归应用场景

回归问题的应用场景一般是预测的结果是连续的。例如，预测明天的温度，23，24，25度
回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。
一个比较常见的回归算法是线性回归算法（LR）。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。

二、线性回归（LR）

英文全称（Linear Regression），线性回归原理通过使用最佳的拟合直线（又被称为回归线），建立因变量（Y）和一个或多个自变量（X）之间的关系。简单来说线性回归是指全部由线性变量组成的回归模型。

回归模型：
但在现实生活中一般是有一个随机噪声
𝑦 = 𝑤 ∗ 𝑥 + 𝑏 + eps
例如下图，红色点为真实带有噪声数据，我们通过拟合拟合初我们想要的规律，例如，拟合出一元一次，或一元二次。

所谓拟合就是𝑤 ∗ 𝑥 + 𝑏更接近于真实值y，那么我们就引进一个概念损失函数也叫做误差函数，这次先试用MAE（均方误差）。

换句话来说就是将拟合数据改变为求Loss最小的问题了。什么时候Loss最小呢，我们一般采用两种方法，一种是最小二乘法，另一种就是梯度下降法。
least square method

Gradient Descent
梯度下降核心内容是对自变量进行不断的更新（针对w和b求偏导），使得目标函数不断逼近最小值的过程，lr为学习率。


例子：完整代码链接
定义损失函数：用MSE
numpy:

def compute_error_for_line_given_points(b, w, points):