TensorFlow学习一 — 线性回归
一、了解回归问题
1.1什么是回归模型
回归模型是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。例如,司机的鲁莽驾驶与道路交通事故数量之间的关系,最好的研究方法就是回归。
1.2回归应用场景
回归问题的应用场景一般是预测的结果是连续的。例如,预测明天的温度,23,24,25度
回归问题通常是用来预测一个值,如预测房价、未来的天气情况等等,例如一个产品的实际价格为500元,通过回归分析预测值为499元,我们认为这是一个比较好的回归分析。
一个比较常见的回归算法是线性回归算法(LR)。另外,回归分析用在神经网络上,其最上层是不需要加上softmax函数的,而是直接对前一层累加即可。回归是对真实值的一种逼近预测。
二、线性回归(LR)
英文全称(Linear Regression),线性回归原理通过使用最佳的拟合直线(又被称为回归线),建立因变量(Y)和一个或多个自变量(X)之间的关系。简单来说线性回归是指全部由线性变量组成的回归模型。
回归模型:
但在现实生活中一般是有一个随机噪声
𝑦 = 𝑤 ∗ 𝑥 + 𝑏 + eps
例如下图,红色点为真实带有噪声数据,我们通过拟合拟合初我们想要的规律,例如,拟合出一元一次,或一元二次。
所谓拟合就是𝑤 ∗ 𝑥 + 𝑏更接近于真实值y,那么我们就引进一个概念损失函数也叫做误差函数,这次先试用MAE(均方误差)。
换句话来说就是将拟合数据改变为求Loss最小的问题了。什么时候Loss最小呢,我们一般采用两种方法,一种是最小二乘法,另一种就是梯度下降法。
least square method
Gradient Descent
梯度下降核心内容是对自变量进行不断的更新(针对w和b求偏导),使得目标函数不断逼近最小值的过程,lr为学习率。
例子:完整代码链接
定义损失函数:用MSE
numpy:
def compute_error_for_line_given_points(b, w, points):
totalError