「机器学习」改进梯度下降的技术

一、特征放缩

1. 目标：

将每个特征 1 ≤ x_j ≤ 1

几乎无坏处，可多尝试特征放缩

2. 方法

(1) 除以最大值

(2) 均值正常化

(3) z 分数归一化

二、判断是否收敛

学习曲线 / 自动收敛测试

三、选择合适的学习率

四、特征工程

目标：选择合适的特征

特征工程： 利用知识或直觉设计新的特征（通常通过转换或结合原始特征），使算法作出更准确的预测。

• 多元线性回归的特征工程 —— 多项式回归的新算法：

  次方/开根号

  库学习：sciki