《Neural networks and deep learning》概览

原创 2015年03月12日 12:34:05

最近阅读了《Neural networks and deep learning》这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章《Improving the way neural networks learn》,涉及深度神经网络优化和训练的各种技术,对第三章做了详细的笔记(同时参考了其他资料,以后读到其他相关的论文资料也会补充或更改),欢迎有阅读这本书的同学一起交流。以下属个人理解,如有错误请指正。

What this book is about?

这本书中的代码基于Python实现,从MNIST这个例子出发,讲人工神经网络(Neural networks),逐步深入到深度学习(Deep Learning),以及代码实现,一些优化方法。适合作为入门书。

1、 Using neural nets to recognize handwritten digits

  • 文章概要

    用人工神经网络来识别MNIST数据集,Python实现,仅依赖NumPy库。


2、 How the backpropagation algorithm works

  • 文章概要

    上一章没有讨论怎么优化NN,当时并没有讨论怎么计算损失函数的梯度,没有讨论优化过程,这就是这一章要讲的BP算法。

  • BP算法在1970s出现,但直到1986年Hinton的paper发表之后它才火起来。

  • BP实现代码

    the code was contained in the update_ mini _ batch and backprop methods of the Network class.In particular, the update_mini_batch method updates the Network’s weights and biases by computing the gradient for the current mini_batch of training examples:

  • Fully matrix-based approach to backpropagation over a mini-batch

    Our implementation of stochastic gradient descent loops over training examples in a mini-batch. It’s possible to modify the backpropagation algorithm so that it computes the gradients for all training examples in a mini-batch simultaneously. The idea is that instead of beginning with a single input vector, x, we can begin with a matrix X=[x1x2…xm] whose columns are the vectors in the mini-batch.

    将mini batch里的所有样本组合成一个大矩阵,然后计算梯度,这样可以利用线性代数库,大大地减少运行时间。

  • BP算法有多快?

    BP算法刚发明的时候,计算机计算能力极其有限。现在BP在深度学习算法中广泛应用,得益于计算能力的大跃升,以及很多有用的trick。

  • what’s the algorithm really doing?

    这部分对BP算法深入讨论,是个证明过程。网络前面某个节点发生的改变,会一层一层往后传递,导致代价函数发生改变,这两个改变之间的关系可以表示为:

一层一层地推导,又可以表示为:

后面还有一堆……

关于BP的原理,建议看看Andrew NG的UFLDL,也可以看一些相应的博文。


3、Improving the way neural networks learn

这一章讨论一些加速BP算法、提高NN性能的技术。这些技术/trick在训练网络、优化的时候很常用,如下所述,(目前还没整理完各个部分的笔记,而且篇幅长,就分为几篇博客来写,陆续在 [文章链接] 中贴出。):

  1. 比方差代价函数更好的: 交叉熵代价函数 [文章链接]

  2. 四种正则化方法(提高泛化能力,避免overfitting): [文章链接]

    • L1 regularization
    • L2 regularization
    • dropout
    • artificial expansion of the training data
  3. 权重初始化的方法 [文章链接]
  4. 如何选取超参数(学习速率、正则项系数、minibatch size) [文章链接]

4、A visual proof that neural nets can compute any function


转载请注明出处:http://blog.csdn.net/u012162613/article/details/44220115

版权声明:本文为博主原创文章,未经博主允许不得转载。

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

Neural Networks and Deep Learning学习笔记ch1 - 神经网络

最近开始看一些深度学习的资料,想学习一下深度学习的基础知识。找到了一个比较好的tutorial,Neural Networks and Deep Learning,认真看完了之后觉得收获还是很多的。从...

《neural network and deep learning》题解——ch01 神经网络

在线阅读:http://neuralnetworksanddeeplearning.com/1.2 S 型神经元问题 1证:σ(cw,cb)=11+e−∑jcwjxj−cb=11+e−cz\large...

Neural Networks and Deep Learning 学习笔记(二)

1. 第一章习题解答。 There is a way of determining the bitwise representation of a digit by adding an extra...

3天完成Neural Networks and Deep learning课程

PDF版(排版更好)链接:http://pan.baidu.com/s/1nuLdwKh 密码:qlrp 最近吴恩达的deeplearning.ai课程新出,非常火,这是个deep learnin...
  • sujim
  • sujim
  • 2017年08月23日 22:49
  • 283

Neural Networks and Deep Learning CH1

CHAPTER 1 Using neural nets to recognize handwritten digitsPerceptrons Sigmoid neurons The architec...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

吴恩达Deeplearning.ai专项课程笔记(一)-- 神经网络基础

吴恩达深度学习专项课程Deeplearning.ai共开设五门课,目前已经学了大半,想起来忘了整理课程笔记,这几天抽空补上。1.基础概念 神经网络 :输入一些数据,经过隐藏层,最终得到输出,圆形节点...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:《Neural networks and deep learning》概览
举报原因:
原因补充:

(最多只允许输入30个字)