机器学习笔记（1）常见符号，批次梯度下降，随机梯度下降

机器学习

一，常见符号

h(x) = $\sum \theta jxj$ 其中·的xj是输入的量，而θ则是线性回归时候的系数，通常x0等于1作为一个虚拟的特征，h是假设的。

$\theta =[{\theta }_1,{\theta }_2,{\theta }_3{]}^T$

$x=[x_1,x_2,x_3{]}^T$

$\theta ="parameter"$ theta 是参数。

M = #training examples 训练数目 #代表着数目。

x = “inputs”/feature x是输入，或者有叫特征。

y = “output”/target variable。

$(x,y)$= training example 训练实例。

$(x^i,y^i)=i_{th}$ training example 第i个训练实例。

$x_a^{(b)}$表示的是第b个训练实例里面的第a个参数(上标指的是训练实例，下标指的是参数的顺序。

n = #feature n代表的是特征的个数，n=|x|-1，n=x的维度-1，因为x0是一个虚拟的特征，这个虚拟的特征是不算在n里面的。

$h_{\theta }(x)=h(x)$ 方便书写，假设函数h其实是和θ有关的。

${\nabla }_{\theta }J(\theta )=[\frac{\partial J(\theta )}{{\theta }_0},\frac{\partial J(\theta )}{{\theta }_1},\frac{\partial J(\theta )}{{\theta }_2}{]}^T$ 这条式子的意思是对成本函数求偏导，并且写成矩阵的形式。

对任意的$f(A)=trAB$ （A，B是任意的矩阵，tr指的是迹：主对角线的元素之和，$trABC=trCAB=trBCA$迹的循环排列）

有${\nabla }_{\theta }f(A)=B^T$（证明用到${\nabla }_{A}trA{A}^{T}C=CA+C^{T}A$，有点像$\frac{\partial a^{2}c}{\partial a}=2ac$）

线性回归(linear regression)里面的目标就是使得

这个式子 $J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$ 最小化

其中的$\frac{1}{2}$是为了保证等等求导的时候可以减少计算量。

批次梯度下降（收敛，全局最优）（Batch Gradient Descent，BGD）

那最小化这个$J(\theta )$的方法算法是怎么呢，这里就要提到梯度下降算法(gradient descent)

1.将θ设置成一个0向量，作为一个初始值

2.持续更改θ来减少$J(\theta )$

${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial \theta j}J(\theta )$

将每次的θj更换成右边的式子进行迭代，其中的$\alpha$叫做学习率(learning rate)，右边是J(θ)对θj的偏导数，这一步在一轮中要进行n次，每个特征都要做一次进行最小化。

$\frac{\partial }{\partial \theta j}J(\theta )=\frac{\partial \frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2}{\partial {\theta }_j}$对此求偏导数

而$h_{\theta }(x)={\sum }_{i=0}^n{\theta }_i{x}_i$

对$h_{\theta }(x)$求偏导，首先得由于链式法则，平方的那个2要乘上去和1/2抵消，再乘上一个括号一样的东西。

由于是只对${\theta }_i$偏导，所以别的项全变成了0，只依赖于对应的θiXi项。

最后第一步的转换就变成了这样了。

${\theta }_j:={\theta }_j-\alpha {\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}$后面的那一大坨就是偏导数最后简化的结果了。

3.每一次都往最低的方向走下坡路，也就是沿着梯度最小的方向走babystep

4.梯度下降法的结果，取决于初始的θ值（不同的起点）

5.每次的操作是for(j=1,…,n)进行第3步的操作直到收敛。

6.每次的迭代都是对全局进行的，所以消耗将会非常非常大。

随机梯度下降****（Stochastic Gradient Descent，SGD）****

永远的震荡，并且不会收敛，但是允许不断变换，得到结果会更快

${\theta }_j:={\theta }_j-(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}$

每次迭代的公式是这样的，并没有求和符号，并不是进行全局的

repeat{

${\theta }_j:={\theta }_j-(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}$ j从0到n

}i从1到m