1.Deep learning的历史
2.深度学习的步骤
首先对于第一步Neural Network进行介绍:
相同于上一课Logistic Regression中的多层Logistic Regression进行连接:
下图中的为sigmoid函数
其中关于一些概念如下:
将图中运用到的计算使用矩阵的形式进行操作:
运用矩阵操作的目的是当设计运算时可以利用GPU进行矩阵运算,这比CPU运行快了许多。
3.Example Application
下面利用一个图像识别的案例进行介绍。
参考下图,要求辨识一个像素为16*16的图片,输入的数据为一个256维的数量
output则为一个10维的矢量,即成为每个数字的几率,哪个几率最高,最终辨识结果则为哪个数字。
关于deep learning最重要的是寻找network structure
neurons network关键的是不需要筛选feature,但需要需按照一个适合的network structure
那么需要多少层神经网络呢?这是需要不断的训练和直觉。
4.Compute Loss
利用cross entropy作为Loss function,cross entropy越小越好
在function set中赵一个function使得Loss最小,或者找到network para使得Loss最小
接下来利用Gradient Descent计算样本数据下的最适宜参数
利用Gradient descent一步步找到最适合的参数
以前做deep learning很痛苦,现在就比较轻松了,因为现在有许多tool kit计算微分,下面时关于计算微分的一些tool kit
最后有一些问题,为什么神经网络越深越好:
个人理解内容将于后续补充