古月居 PyTorch入门：一起从零搭建神经网络二、PyTorch基础知识

PyTorch入门：一起从零搭建神经网络二、PyTorch基础知识

1、神经网络结构

一个经典的神经网络结构包含了三个层，分别是输入层、输出层、中间层（隐藏层）。设计一个神经网络时，输入输出层的节点数往往是固定的，而中间层可以自由指定。输入数据经过一层或者多层的隐藏层训练得出训练结果输出。

2、激活函数作用

什么是激活函数:
所谓激活函数，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
常用的激活函数有sigmoid函数，tanh函数，ReLU函数。图像分别为：

激活函数的作用:
在某些场景，是无法用直线进行分类的，例如，无法直接在下图中用黑色直线对⚪和三角形进行分类，但是红色曲线可以：

不引入激活函数，神经网络就是线性分类组合，不论隐藏层有多少层，输出就是输入的一个线性分类组合，分类局限性大，只适用于线性分类。

3、优化器、损失函数作用

简单来说，优化器就是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或者达到最优值。
损失函数就是计算神经网络每次迭代的前向计算结果与真实值的差距，常用的损失函数有均方差误差函数、均方根误差函数、交叉嫡误差函数等。误差用于控制输出效果。SGD(随机梯度下降法)

拓展资料：小白老师的的古月居个人主页

此笔记仅用于个人记录、学习使用。