深度学习 基于python的理论与实现 读书笔记

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/canwhut/article/details/87109525

第二章 感知机

感知机可以看做单个神经元,有多个输入,一个输出
感知机的局限性就在于它只能表示由一条直线分割的空间。
这个局限可以用多层感知机来克服。

第三章 神经网络

前向传播,主要是矩阵乘法来完成

第四章 神经网络的学习

常见的损失函数:均方误差、交叉熵误差
用损失函数对权重求偏导数,来调整权重

计算导数
数值微分是比较常见的,不足是计算慢

神经网络学习的几个步骤:

  1. mini-batch
  2. 计算梯度
  3. 更新参数
  4. 重复步骤1、2、3

第五章 误差反向传播法

计算图
计算图将整个计算过程分解为多个小步骤
用计算图计算反向传播,使用了链式法则
局部计算加法、乘法、矩阵乘法、Log、等步骤的时候,梯度计算不同
矩阵乘法可以看成是放射变换affine

第六章 与学习相关的技巧

参数的更新
最早的是随机梯度下降SGD,还有其他优化方法
还有加上动量、梯度大时衰减学习率

权重的初始值
初始值设置不当,会导致问题:1.梯度消失 2.激活值问题导致表现力受限

Batch Normalization

  1. 可以是学习快速进行(可以增大学习率)
  2. 对初始值设置很鲁棒,不敏感
  3. 抑制过拟合

超参数的选择
超参数: 比如各层的神经元数量、 batch大小、参数更新时的学习率或权值衰减等。

第七章 卷积神经网络

函数 im2col 将输入的4维图像数据,转换为2维数据

第八章 深度学习

展开阅读全文

没有更多推荐了,返回首页