2022最新版-李宏毅机器学习深度学习课程-P4深度学习简介

一、 深度学习的发展历史

二、深度学习的三个步骤

1、定义一组函数

sigmoid（wx+b）是一个神经元

全连接前馈网络

给定一个网络结构（w、b等参数未知），就是定义了一组函数

简化为一个圈，第一层是输入层，最后一层是输出层，中间是隐藏层。

目前已有的一些层数。

计算过程实际是矩阵运算

神经网络的这组函数写出来其实是这个形式。

输出层需要做一个softmax

例子：手写数据识别

输入层是256个像素点，输出层是10个类别。需要确定模型中间的参数。

层数和神经元数：通过实验和误差&直觉确定。

自动决定参数：进化的人工神经网络。

设计网络结构：卷积神经网络。

2、函数的良好程度

该例的损失函数，做交叉熵

总的损失：所有类别的交叉熵相加。

如何最小化Loss？采用梯度下降法。人为指定学习率。

反向传播：一种神经网络中高效计算梯度的方法

3、选择最好的函数

4、总结答疑

为什么越深效果越好？为什么神经网络是变深而不是变胖？

下次课再说！