一、深度学习简介
1.深度学习的历史
略
2.深度学习的三个步骤
(1)Step1:神经网络
全链接和前馈
Q1:为什么叫全链接呢?
Ans1:因为layer1与layer2之间两两都有连接,所以叫做Fully Connect。
Q2:为什么叫前馈呢?
Ans2:因为现在传递的方向是由后往前传,所以叫做Feedforward。
深度
矩阵计算
本质:通过隐藏层进行特征转换
Questions:
(1)多少层? 每层有多少神经元?
这个问我们需要用尝试加上直觉的方法来进行调试。对于有些机器学习相关的问题,我们一般用特征工程来提取特征,但是对于深度学习,我们只需要设计神经网络模型来进行就可以了。对于语音识别和影像识别,深度学习是个好的方法,因为特征工程提取特征并不容易。
(2)结构可以自动确定吗?
有很多设计方法可以让机器自动找到神经网络的结构的,比如进化人工神经网络,但是这些方法并不是很普及。
(3)我们可以设计网络结构吗?
可以,比如CNN卷积神经网络。
(2)Step2:模型评估
(3)Step3:选择最优函数
二、反向传播
1.背景
梯度下降
链式法则
2.环节