Deep Learning 简介

Three Steps for Deep Learning

神经网络中每一层的计算

4 = 1*1+（-1）*（-2）+1 

0.98 = 1/(1+e^(-4))

同理0.12也是这么来的

神经网络其实就是一个函数，给一个输入向量，它会返回一个输出向量

 

其内部可以写成矩阵的计算形式

Neural Network

GPU可以对神经网络进行加速，效果比CPU更好

输出层可以作为多重分类的分类器

应用举例

输出这个图像表示某一数字的概率，取最大概率对应的数字作为最后分类的结果 

A function set containing the candidates for Handwriting Digit Recognition.

You need to decide the network structure to let a good function in your function set.

关于神经网络的一些问题

•  通过 “尝试错误法反复实验+直觉引导” 来选择合适的网络层数和神经元数目
• 进化人工神经网络（evolutionary artificial neural networks）
• 卷积神经网络（Convolutional Neural Network）

function的评估——神经网络中的Loss

在这个样本sample中，可以根据Cross Entropy的公式计算出其Loss值

在一整个训练集中的总Loss，求个和

选择最优的function

仍然是使用梯度下降的方式，Gradient Descent

Backpropagation

Backpropagation: an efficient way to compute ∂L∕∂w in neural network

A function set containing the candi