吴恩达.深度学习系列-C1神经网络与深度学习-W1介绍

什么是神经网络

一个典型的神经元如下图，从输入到输出。神经元一般采用Relu激活函数。
Relu：Rectified Linear Unit.线性整流函数。

一个大型的神经网络就是由这样简单的神经元组成。
例如房价预测：

如上图，房子大小，房间数，地区，财富都是影响房价的原因。我们可以将它们组成如下图的神经网络。

中间隐藏节点是否表征“家庭大小”“距离”“学区好坏”等信息？我们不用管他们，让神经网络自行去学习就好。

用神经网络进行监督学习

神经网络能够学习结构化数据（Structured Data）。
而且还能非常好的学习非结构化数据（Unstructured Data）。比如：图片、音频、文本上的自然语言信息。

why is Deep Learning taking off?为啥神经网络能流行起来？

数据规模驱动深度学习进步

如上图：
- 传统机器学习(svm，逻辑回归等)，在数据大规模增长后，性能提升有限。但在训练数据较少的时候，机器学习的表现与深度学习差异不大。
- 深度学习，随着神经网络规模越来越大（更深的网络，更多的神经元，更的参数），数据量越来越多，对应的性能也越来越好
Scale drivers deep learning progress
- data 数据规模越来越大
- computation 计算能力不断提高。cpu的摩尔定律、gpu的运用
- Algorithms. 比如从sigmoid到Relu的改进等等。yu

运算速度越来越快，让研究人员能快速尝试不同的想法。idea->code->Experiment->idea….。让模型、产品快速升级迭代。

About this Course

Neural Networks and Deep Learning
- week1:Introduction
- week2:Basics of Neural Network programming
- week3:One hidden layer Neural Networks
- week4:Deep Neural Networks

Heroes of Deep Learning

Geoffrey Hinton interview:
神经网络的教父。
1）受限玻尔兹曼机得发明者。他认为最令他深刻的发明。
2）反向传播的提出者之一。1986年。
3）1993年，变分贝叶斯论文（逼近EM）。
%￥》#&……各种听不懂