线性回归（二）

一、梯度下降

机器学习就是需找一种函数f(x)并进行优化， 且这种函数能够做预测、分类、生成等工作。
那么其实可以总结出关于“如何找到函数f(x)”的方法论。可以看作是机器学习的“三板斧”：

• 第一步：定义一个函数集合（define a function set）
• 第二步：判断函数的好坏（goodness of a function）
• 第三步：选择最好的函数（pick the best one）

我们先把目光放在第三步上：How to pick the best one ? 我们的目标是让损失函数最小化。这就引出了下面需要介绍的方法：
梯度下降是目前机器学习、深度学习解决最优化问题的算法中，最核心、应用最广的方法

1.1 梯度下降法简介

梯度下降法，是一种基于搜索的最优化方法，它其实不是一个机器学习算法，但是在机器学习领域，许多算法都是以梯度下降法为基础的，它的主要作用是寻找目标函数的最优解。
常用的梯度下降法有 3 种不同的形式：

1. 批量梯度下降法，简称 BGD，使用所有样本，比较耗时；
2. 随机梯度下降法，简称 SGD，随机选择一个样本，简单高效；
3. 小批量梯度下降法，简称 MBGD，使用少量的样本，这是一个折中的办法。

1.2 代码实现

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDRegressor


# 加载波斯顿房价数据集
boston = datasets.load_boston()
X = boston.data
y= boston.target

# 排除异常数据
X = X[y < 50.0]
y = y[y < 50.0]

# 拆分训练数据集和测试数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# 数据归一化
standardScaler = StandardScaler()
standardScaler.fit(X_train)
X_train_standard = standardScaler.transform(X_train)
X_test_standard = standardScaler.transform(X_test)


# 实例化 SGDRegressor
sgd_reg = SGDRegressor(max_iter=1000, tol=1e-5)

# 对训练数据集进行拟合
sgd_reg.fit(X_train_standard, y_train)

# 对测试数据集进行评分
print('模型评分：', sgd_reg.score(X_test_standard, y_test))