李宏毅《深度学习》：深度学习简介

视频链接：https://www.bilibili.com/video/av9770190/?p=6

深度学习分为三部分：定义一系列方程，计算方程的loss，然后选出最好的方程

深度学习神经网络类似于人类的大脑的神经网络，每个方程可以看做一个神经元，不同神经元连接会产生不同结果，在这里我们介绍一下fully connect feedforward network

1、fully connect feedforward network

每个神经元都与下一层全部的神经元连接即fully connect，如图所示

fully connect神经网络结构，由输入、隐藏层和输出组成，每个神经元与下一层神经元全连接

计算时可以使用矩阵计算，输入向量乘上wight加上bias得出输出，每一层都是这么计算，上一层的输出时下一层的输入，由此直到最后产生输出

一连串的vector乘上matrix

举例：手写数字识别

输入是256维像素代表的向量，输出每个数字的概率

2、goodness of function

计算标记与计算值之间的差距，即loss

减小这个total loss，一个是找一个function，一个是找参数

方法是gradient descent:

学习：