机器学习心得（二）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

---

一、梯度下降的概念

梯度下降顾名思义就是不停的向下推进，比如，我们正在山顶现在需要快速回到山下，那么我们就需要找到一条安全且可靠的路下山，我们每走一步就会看一眼。如下图所示：

二、梯度下降的主要三种形式

1.批量梯度下降（Batch Gradient Descent,BGD）

• 梯度下降的每一步中，都用到了所有的训练样本，公式如下：
  $w_j=w_j-\alpha \frac{1}{m}{\sum }_{i=1}^m((h(x^{(i)})-y^{(i)})x^{(j)})$，其中$((h(x^{(i)})-y^{(i)})x^{(j)})$为梯度，$\alpha$为学习率

2.随机梯度下降（Stochastic Gradient Descent）

• 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数 ，而不需要首先将所有的训练集求和，公式如下：
  $w=w-\partial \frac{\partial J(w)}{\partial w}$
  $h(x)=w^{T}x=w_0{x}_0+w_1{x}_1+...+w_n{x}_n$
  $J(w)=\frac{1}{2}(h(x^{(i)})-y^{(i)}{)}^2$
  $\frac{\partial J(w)}{\partial w_j}=\frac{\partial }{\partial w_j}\frac{1}{2}(h(x^{(i)})-y^{(i)}{)}^2=2\times \frac{1}{2}(h(x^{(i)})-y^{(i)})\times \frac{\partial }{\partial w_j}(h(x^{(i)})-y^{(i)})=(h(x^{(i)})-y^{(i)})\times \frac{\partial }{\partial w_j}({\sum }_{i=0}^n(w_i{x}_i^{(i)}-y^{(i)}))=(h(x^{(i)})-y^{(i)})x_j^{(i)}$
  因此，通过上述公式的推导我们就可以得到$w_j=w_j-\alpha \frac{1}{m}{\sum }_{i=1}^m((h(x^{(i)})-y^{(i)})x^{(j)})$

3.小批量梯度下降（Mini-Batch Gradient Descent）

• 梯度下降的每一步中，用到了一定批量的训练样本每计算常数𝑏次训练实例，便更新一次参数 $w$，公式如下
  $w_j=w_j-\alpha \frac{1}{b}{\sum }_{k=i}^{i+b-1}(h(x^{(k)})-y^{(k)})x_j^{(k)}$
• 当𝑏=1（随机梯度下降,SGD）
• 当𝑏=m（批量梯度下降,BGD）
• 当𝑏=batch_size，通常是2的指数倍，常见有32,64,128等。(小批量梯度下降,MBGD)

4.数据归一化/标准化

1. 为什么要归一化/标准化？
   提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。
   加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。
2. 归一化：数据归一化的目的是使得各特征对目标变量的影响一致，会将特征数据进行伸缩变化，所以数据归一化是会改变特征数据分布的，能将数据映射到[0,1]之间。归一化公式如下：$x^{\ast }=\frac{x-x_{min}}{x_{max}-x_{min}}$
3. 标准化：数据标准化为了不同特征之间具备可比性，经过标准化变换之后的特 征数据分布没有发生改变。就是当数据特征取值范围或单位差异较大时，最好是做一下标准化处理。处理后的数据均值为0，方差为1.公式如下：$x^{\ast }=\frac{x-\mu }{\sigma }$

总结

本人也才刚刚开始学习，请大家多多包涵。大家在学习机器学习之前可以先学习下线性代数