机器学习-3

2018年8月3、4、5日 吴恩达机器学习7、8、9、10章

主要内容：线性回归、逻辑斯蒂回归的正则化；神经网络算法；应用机器学习的建议；

 

1. 正则化

1. ）Regularized linear regression

Cost function:

;

min j(θ)

利用梯度下降算法求解最优参数：

Repeat{

     

       

                                   (j=1,2,3,…)

}

 

利用Normal equation求解最优参数时的正则化：

; 注：引入正则化向后即使为singular matrix也没有问题。

2.）Regularized logistic regression

Cost function:

;

min j(θ)

利用梯度下降算法求解最优参数：

Repeat{

     

        

                                   (j=1,2,3,…)

}

注：利用梯度下降算法在logistic regression的表达形式和在linear regression一致，但因hypothesis有差别，所以实质是不一样的。

 

2、neural networks

neural model: logistic unit

  ;

;  权重weight

: artificial neuron with a sigmoid or a logistic activation function;

;

 

: activation of unit i in layer j

: matrix of weights controlling function mapping form layer j to layer j+1

 

If network has s(j) units in layer j, s(j+1) units in layer j+1, then will be of dimension s(j+1)xs(j)

Forward propagation:

    ------>    (hΘx) ； L: total no. of layers in networks

 

Cost function

J(Θ) .

 

利用backpropagation计算损失函数对各个参数的偏导，然后利用梯度下降算法或者其他算法获得最优参数；

 

3、advice for applying machine learning

gradient checking: 用于验证反向传播算法（或其他算法）计算得到的偏导。（Gradient checking中计算偏导是利用数值方法计算（导数的定义））

将dataset->training set + test set + cross validation set

 

Getting more training examples

Trying smaller sets of features

Trying getting additional features

Trying adding polynomial features

Try decreasing 

Try increasing

将这些手段用于设计或应用这些算法。