Coursera-吴恩达-机器学习-第五周-编程作业: Neural Networks Learning

本次文章内容： Coursera吴恩达机器学习课程，第五周编程作业。编程语言是Matlab。

学习算法分两部分进行理解，第一部分是根据code对算法进行综述，第二部分是代码。

0 Introduction 

在这个练习中，将应用 backpropagation,实现神经网络来识别手写数字。

1 Neural Networks

 

Algorithm 

Part 0 Initialization & Setup the parameters

         clear ; close all; clc 的三剑客常规操作。并设置神经网络的结构参数。

         下图是我们的Model representation：一共是三层，an input layer,a hidden layer and an output layer.

Part 1: Loading and Visualizing Data

           随机选取100个data进行可视化。

Part 2: Loading Parameters

          加载已经训练好的theta参数，并将theta展开为我们需要的向量形式。

Part 3: Compute Cost (Feedforward)

         要做back propagation，先要做feedforward得到每个class的hypothesis。这部分的代码主要整合在 nnCostFunction（）函数中。 根据我们的model，计算得到每个note的activation值，计算cost function（带正则项）。next，我们会在这个函数里计算back propagation，从后向前计算detla value，then计算累积误差，then计算cost function的partial derivative（带正则项）。

Part 4: Implement Regularization

         刚刚说到了，并输入测试值检测是否得出正确值。

Part 5: Sigmoid Gradient 

          sigmoid 函数的derivative有个特殊性质，这里计算其导数。

Part 6: Initializing Pameters 

         为了防止所有的theta的初始值都是零，或者same，这将会倒是 back propagation 的计算无意义。所以我们random initialization ，根据维度rand() 0或1 value。