吴恩达老师机器学习课程--神经网络

一、为什么使用神经网络？

1. 复杂的非线性分类，决策边界很复杂
2. 特征过多时，特征映射项非常多，计算成本高，容易过拟合，例如：图片的分类问题

二、神经元与大脑

1. 起源：用来模拟大脑的算法
2. 我们几乎可以将任何传感器接入大脑
3. 主要学习将它应用于现代机器学习技术

三、神经网络结构及表达

1. 神经网络模型：（逻辑单元）

   组成单元：输入，隐藏层，权重，输出，如图所示

   

   数学推导：$a_i^{(j)}$为第j个激活层的第i个单元，${\theta }^{(j)}$为从j层到j+1层的偏重
   $$\begin{gathered} a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3) \\ {a}_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3) \\ {a}_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3) \\ {h}_{\Theta }(x)=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)}) \end{gathered}$$

前向传播==向量化实现方法：==剩下的表示以此类推，别忘了加偏执
$$\begin{gathered} z^{(2)}={\Theta }^{(1)}x \\ {a}^{(2)}=g(z^{(2)}) \end{gathered}$$
逻辑回归单元组成了神经网络

四、神经网络的例子

1. 完成逻辑运算：

   

五、神经网络解决多元分类问题

六、代价函数

1. 字母表示：

   L为网络层数​

   s_l 为第l层的神经元个数

   K 为output层神经元个数，即$h_{\Theta }(x)\in R^K$

   m 为数据个数

   i 为第几个数据

   j l层的第几个节点

   表达式：
   $$J(\Theta )=-\frac{1}{m}(\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(h_{\Theta }(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\Theta }(x^{(i)}){)}_k))+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}({\Theta }_{ji}^{(l)}{)}^2$$

七、反向传播算法–代价函数最小化

前向传播算法计算了每一个神经元的激活值

1. 引入表示：l层第j个神经节点的激活值误差 ${\delta }_j^{(l)}$

2. 反向传播过程：

3. 

   

   • 只有一组数据时的反向传播计算
     $$\begin{gathered} {\delta }_j^{(4)}=a_j^{(4)}-y_j \\ {\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}.\ast g^{\prime }(z^{(3)}) \\ {\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}.\ast g^{\prime }(z^{(2)}) \\ 其中,第一层为输入数据不存在误差，我们不改变输入值 \end{gathered}$$
     公式推导https://blog.csdn.net/xuan_liu123/article/details/83660316?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-1-83660316.nonecase&utm_term=反向传播 吴恩达 推导

   • 当有大量数据计算时重点来啦

     数据集：$(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})$

     初始设置：对于任意的l，i，j：${\Delta }_{ij}^{(l)}=0$,用来累计偏导数项,除了输入节点所有节点的误差和

     l为层数，i为第l层的第几个误差

     步骤：

     For i=1 to m:
         Set a^(1) = x^(i)
         Perform forward propagation to compute a^(l) for l = 2,3,...l
         compute delta^(L)=a^(L)-y^(i)
         compute delta^(L-1),delta^(L-2),...,delta^(2)
         △_ij^(l) := △_ij^(l) + a_j^(l)delta^(2)
     

     

     

     当输出y为实数时，不用加入正则项

4. 反向传播的理解：

   

八、梯度检验

解决神经网络虽然梯度下降但是效果并不理想，可以发现反向传播是否错误。

1. 对于$\theta$是实数 （类似于导数）

2. 对于$\theta$为n维向量（类似于偏导数）

   

3. 算法思想：$gradApprox\approx DVec$

4. 实现步骤：

   • 通过反向传播计算DVec
   • 估算数值梯度
   • 确保二者是相近的值
   • 在使用反向传播训练之前，关闭梯度检查（因为数值计算很慢，影响运行速度，同时也是因为这个原因不能使用该方法作为优化算法）

九、参数的随机初始化

1. 梯度下降算法：初始化为0
2. 神经网络实际操作，初始化为0不起任何作用，会使隐藏层的所有神经元值相同
3. ==初始化$\Theta$在$[-\epsilon ,\epsilon ]$之间的随机值

十、神经网络的总结

1. 选择一个网络结构：

   输入的单元个数确定，输出的单元个数确定，隐藏层数目越多越好

2. 训练神经网络