课程内容
描述神经网络的定义与发展
熟悉深度学习神经网络的重要“部件”
熟悉神经网络的训练与优化
描述深度学习中常见的问题
一、 深度学习简介
(一)概念
1、深度学习概念
端到端的学习,可以自动完成数据清理、特征提取、特征选择等步骤。
2、ANN人工神经网络:
(二)单层感知器
1、概念
2、XOR问题
前馈神经网络:多层感知器
解决异或问题:
隐藏层数对神经网络的影响:
二、训练法则
(一)梯度下降与损失函数
1、损失函数
最小化损失值,获得最合适的w,使真实值与预测值尽量靠近。
2、损失函数的极值
3、常用的损失函数
交叉熵:刻画两个概念的重叠程度。
4、反向传播算法
反向传播在数学中叫做链式法则。
三、激活函数
(一)概念
(二)常见激活函数
1、Sigmoid函数
2、tanh函数
3、Softsign函数
4、ReLU函数
前三种会发生梯度消失。
5、Softplus函数
6、Softmax函数
四、正则化
目的:增强泛化能力,防止过拟合。
Dropout:类似生成随机森林。
1、L1/L2正则
2、数据集合扩充
3、Dropout
4、提前停止
五、优化器
SGD** 用的多
(动量优化器monmtum,学习率优化器Adagrad,RMSprop)---->Adam
BGD
MBGD
(一)概念
(二)几种优化器
1、动量优化器
2、Adagrad优化器
学习率:决定跨步有多大
3、Adam优化器
动量优化器策略 + 学习率优化器策略
(三)优化器性能比较
六、神经网络类型
CNN:卷积神经网络
适合处理图像的信息,提取图像特征能力优异。
RNN:循环神经网络
适合处理时间序列数据,适合处理文本,音频视频数据等
GAN:生成对抗神经网络
换脸、制造数据
(一)卷积神经网络
1、概念
卷积计算:
2、卷积层
3、池化层
4、全连接层
(二)循环神经网络
LSTM网络:(优化了循环神经网络可能会发生梯度消失的问题)
(三)生成对抗网络
七、常见问题
1、数据不平衡问题
处理方法:
随机欠采样:删除类中多的样本。
随机过采样:拷贝样本。
合成采样:提取样本,合成样本。
2、梯度消失和梯度爆炸问题
思考作业:
思考深度学习与机器学习的区别与联系?
深度学习是机器学习的一种形式,既可以使用监督算法,也可以使用非监督算法,或者两者兼而有之。但是它使用包含更多神经元、层次和互联性的神经网络。