先上B站链接:MIT《深度学习导论(6.S191)》课程(2021)。
1. 全连接神经网络(Fully-connected NN, Dense layer)
引言
Why deep learning?
手工进行特征工程耗时耗力,实践中难以大规模应用。
使用深度学习,可以直接从数据中获取其潜在特征。
深度学习的特征分层思想
例如:人脸识别中,底层特征(点、线)→中层特征(眼、鼻)→高层特征(人脸)
神经网络
感知器,神经元(The Perceptron)
即神经元
三大激活函数
非线性激活函数使得神经网络可以拟合非线性问题:
单层全连接神经网络
多个神经元组成单层神经网络
损失函数(Loss)
损失函数衡量理论输出与实际输出的差距:
经验损失函数: