随机梯度下降算法及最优步长相关公式推导

返回目录
运用批量梯度下降法(BGD)，每次迭代需要对所有训练集进行运算。
随机梯度下降法(SGD)则每次只对一次数据集进行运算。
小批量梯度下降法(MBGD)则每次对一组数据集进行运算。
1. 批量梯度下降法(BGD)
代价函数：
$$J(\vec{\theta })=\frac{1}{2m}\sum _{i=1}^m({\vec{\theta }}^T{\vec{x}}^{(i)}-y^{(i)}{)}^2$$
更新：
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m({\vec{\theta }}^T{\vec{x}}^{(i)}-y^{(i)}){\vec{x}}_j^{(i)}$$
2. 随机梯度下降法(SGD)
每次更新使用当次输入的数据进行$\theta$的更新。
代价函数则是所有已经测试过的数据误差平方之和。
代价函数：
$$J(\vec{\theta })=\frac{1}{2k}\sum _{i=1}^k({\vec{\theta }}^T{\vec{x}}^{(i)}-y^{(i)}{)}^2$$
更新：
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}({\vec{\theta }}^T{\vec{x}}^k-y){\vec{x}}_j^k$$
3. 小批量梯度下降法(MBGD)
每次更新使用当次输入的一组数据进行$\theta$的更新。
代价函数则是所有已经测试过的数据误差平方之和。
代价函数：
$$J(\vec{\theta })=\frac{1}{2t}\sum _{i=1}^t({\vec{\theta }}^T{\vec{p}}^{(i)}-q^{(i)}{)}^2$$
更新：
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^k({\vec{\theta }}^T{\vec{s}}^{(i)}-v^{(i)}){\vec{s}}_j^{(i)}$$
其中：
$$\begin{array}{rl}S=\left(\begin{array}{c}{\vec{s}}^{(1)}\\ {\vec{s}}^{(2)}\\ ...\\ {\vec{s}}^{(k)}\end{array}\right)=\left(\begin{array}{c}{\vec{x}}^{(i_1)}\\ {\vec{x}}^{(i_2)}\\ ...\\ {\vec{x}}^{(i_k)}\end{array}\right),& V=\left(\begin{array}{c}{v}^{(1)}\\ v^{(2)}\\ ...\\ v^{(k)}\end{array}\right)=\left(\begin{array}{c}{y}^{(i_1)}\\ y^{(i_2)}\\ ...\\ y^{(i_k)}\end{array}\right)\\ P=\left(\begin{array}{c}{\vec{p}}^{(1)}\\ {\vec{p}}^{(2)}\\ ...\\ {\vec{p}}^{(t)}\end{array}\right)=S_1\bigcup S_2...\bigcup S_r,& Q=\left(\begin{array}{c}{q}^{(1)}\\ q^{(2)}\\ ...\\ q^{(t)}\end{array}\right)=V_1\bigcup V_2...\bigcup V_r\\ 其中i_1,i_2,...,i_k\in [1,m],r为更新次数& \end{array}$$
即是说，$S$和$V$是从测试集$X$和$y$中抽取出来的$k$行，$P$和$Q$是所有输入过的测试集的并集。
4. 最优步长推导
下面针对一般形式MBGD做以下推导：
$$\begin{array}{rl}\widehat{{\theta }_j}& ={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^k({\vec{\theta }}^T{\vec{s}}^{(i)}-v^{(i)}){\vec{s}}_j^{(i)}\\ & ={\theta }_j-\frac{\alpha }{m}\left(\begin{array}{cccc}{{\vec{s}}^{(1)}}^T\vec{\theta }-v^{(1)}& {{\vec{s}}^{(2)}}^T\vec{\theta }-v^{(2)}& ...& {{\vec{s}}^{(k)}}^T\vec{\theta }-v^{(k)}\end{array}\right)\left(\begin{array}{c}{\vec{s}}_j^{(1)}\\ {\vec{s}}_j^{(2)}\\ ...\\ {\vec{s}}_j^{(k)}\end{array}\right)\\ & ={\theta }_j-\frac{\alpha }{m}{\left(\begin{array}{c}{{\vec{s}}^{(1)}}^T\vec{\theta }-v^{(1)}\\ {{\vec{s}}^{(2)}}^T\vec{\theta }-v^{(2)}\\ ...\\ {{\vec{s}}^{(k)}}^T\vec{\theta }-v^{(k)}\end{array}\right)}^T{S}_j\\ & ={\theta }_j-\frac{\alpha }{m}(S\vec{\theta }-V{)}^T{S}_j\end{array}$$
有：
$${\left(\begin{array}{c}\widehat{{\theta }_1}\\ \widehat{{\theta }_2}\\ ...\\ \widehat{{\theta }_n}\end{array}\right)}^T={\left(\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n\end{array}\right)}^T-\frac{\alpha }{m}(S\vec{\theta }-V{)}^T\left(\begin{array}{cccc}{S}_1& S_2& ...& S_n\end{array}\right)$$
即：
$$\vec{\hat{\theta }}=\vec{\theta }-\frac{\alpha }{m}{S}^T(S\vec{\theta }-V)$$
带入$J(\theta )$得：
$$J(\vec{\hat{\theta }})=\frac{1}{2t}\sum _{i=1}^t({\vec{\hat{\theta }}}^T{\vec{p}}^{(i)}-q^{(i)}{)}^2$$
要找到$\alpha$使得$J(\vec{\hat{\theta }})$最小。对$J(\vec{\hat{\theta }})$关于$\alpha$求导：
$$\begin{array}{rl}\frac{dJ(\vec{\hat{\theta }})}{d\alpha }& =-\frac{1}{t^2}\sum _{i=1}^t({{\vec{p}}^{(i)}}^T\vec{\hat{\theta }}-q^{(i)}){{\vec{p}}^{(i)}}^T{S}^T(S\vec{\theta }-V)\\ & =-\frac{1}{t^2}(P\vec{\hat{\theta }}-Q{)}^{T}P{S}^T(S\vec{\theta }-V)\\ & =-\frac{1}{t^2}(P(\vec{\theta }-\frac{\alpha }{m}{S}^T(S\vec{\theta }-V))-Q{)}^{T}P{S}^T(S\vec{\theta }-V)\end{array}$$
令$U=S^T(S\vec{\theta }-V)$，则：
$$\begin{array}{rl}\frac{dJ(\vec{\hat{\theta }})}{d\alpha }& =-\frac{1}{t^2}(P(\vec{\theta }-\frac{\alpha }{m}U)-Q{)}^{T}PU\\ & =-\frac{1}{t^2}((P\vec{\theta }{)}^T(PU)-\frac{\alpha }{t}(PU{)}^T(PU)-Q^T(PU))\end{array}$$
再次对$\alpha$求导，有：
$$\frac{d^{2}J(\vec{\hat{\theta }})}{d{\alpha }^2}=\frac{1}{t^3}(PU{)}^T(PU)>=0$$
所以当$\frac{dJ(\vec{\hat{\theta }})}{d\alpha }=0$时，$J(\vec{\hat{\theta }})$得到最小值，记此时的解为${\alpha }^{\ast }$。
有：
$$(P\vec{\theta }{)}^T(PU)-\frac{{\alpha }^{\ast }}{t}(PU{)}^T(PU)-Q^T(PU)=0$$
解得：
$$\begin{array}{r}{\alpha }^{\ast }=\frac{t(PU{)}^T(P\vec{\theta }-Q)}{(PU{)}^T(PU)}\\ 其中：U=S^T(S\vec{\theta }-V)\end{array}$$
代入得到梯度下降更新表达式：
$$\begin{gathered} \vec{\theta }:=\vec{\theta }-\frac{(PU{)}^T(P\vec{\theta }-Q)}{(PU{)}^T(PU)}U \\ 其中：U=S^T(S\vec{\theta }-V) \end{gathered}$$
表达式说明，每次迭代我们都可以找到一个最优步长使得梯度下降最快。
当使用BGD时：$P=S=X,Q=V=y$。
经测试使用$\alpha =0.001$时，迭代500次没有达到阈值范围内，使用最优步长只需6次就能达到阈值。
从表达式可以看出计算最优步长时计算量大，使用固定步长仍是一个好用的算法。

返回目录