机器学习算法: 梯度下降算法

梯度下降算法简述

梯度下降算法是对线性回归算法的优化. 线性回归算法遇到大量特征, 且特征复杂的情况时, 求解速度很慢, 且得不到结果. 梯度下降算法则是先设置学习率和学习方向, 逐步调整线性回归的系数. 使用梯度下降算法, 必定会得到最终的结果. 学习率的设置理论上越小, 结果越理想, 但学习率越小, 计算量越大, 所以要设置合适的学习率

算法示例

# 导入数据集, 波士顿房价影响因素与房价相关数据
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
# 损失计算函数
from sklearn.metrics import mean_squared_error
# 梯度下降算法估计器
from sklearn.linear_model import SGDRegressor

# 导入数据
boston_data = load_boston()
x = boston_data.data
y = boston_data.target

# 数据分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)

# 特征工程: 归一化处理数据
mm = MinMaxScaler(feature_range=(0, 1))
x_train = mm.fit_transform(x_train)
x_test = mm.transform(x_test)

# 使用梯度下降估计器建模
sgd = SGDRegressor(fit_intercept=True, learning_rate="constant", eta0=0.01)
sgd.fit(x_train, y_train)

# 计算回归系数与偏置
k = sgd.coef_
b = sgd.intercept_

# 计算损失
y_pred = sgd.predict(x_test)
error = mean_squared_error(y_test, y_pred)

print(error)