HUAWEI人工智能训练营（二）：深度学习

课程内容
描述神经网络的定义与发展
熟悉深度学习神经网络的重要“部件”
熟悉神经网络的训练与优化
描述深度学习中常见的问题

一、 深度学习简介

（一）概念

1、深度学习概念
端到端的学习，可以自动完成数据清理、特征提取、特征选择等步骤。

2、ANN人工神经网络：

（二）单层感知器

1、概念


2、XOR问题

前馈神经网络：多层感知器

解决异或问题：

隐藏层数对神经网络的影响：

二、训练法则

（一）梯度下降与损失函数

1、损失函数


最小化损失值，获得最合适的w，使真实值与预测值尽量靠近。
2、损失函数的极值

3、常用的损失函数

交叉熵：刻画两个概念的重叠程度。
4、反向传播算法


反向传播在数学中叫做链式法则。

三、激活函数

（一）概念

（二）常见激活函数

1、Sigmoid函数

2、tanh函数

3、Softsign函数

4、ReLU函数
前三种会发生梯度消失。

5、Softplus函数

6、Softmax函数

四、正则化

目的：增强泛化能力，防止过拟合。

Dropout：类似生成随机森林。
1、L1/L2正则


2、数据集合扩充

3、Dropout

4、提前停止

五、优化器

SGD** 用的多
（动量优化器monmtum，学习率优化器Adagrad,RMSprop）---->Adam
BGD
MBGD

（一）概念

(二)几种优化器

1、动量优化器


2、Adagrad优化器

学习率：决定跨步有多大
3、Adam优化器
动量优化器策略 + 学习率优化器策略

（三）优化器性能比较

六、神经网络类型

CNN：卷积神经网络
适合处理图像的信息，提取图像特征能力优异。
RNN：循环神经网络
适合处理时间序列数据，适合处理文本，音频视频数据等
GAN：生成对抗神经网络
换脸、制造数据

（一）卷积神经网络

1、概念


卷积计算：

2、卷积层

3、池化层

4、全连接层

（二）循环神经网络

LSTM网络：（优化了循环神经网络可能会发生梯度消失的问题）

（三）生成对抗网络

七、常见问题

1、数据不平衡问题

处理方法：
随机欠采样：删除类中多的样本。
随机过采样：拷贝样本。
合成采样：提取样本，合成样本。

2、梯度消失和梯度爆炸问题
思考作业：
思考深度学习与机器学习的区别与联系？

深度学习是机器学习的一种形式，既可以使用监督算法，也可以使用非监督算法，或者两者兼而有之。但是它使用包含更多神经元、层次和互联性的神经网络。