【材料整理】 --Pytorch基础知识2

文章目录

写在前面

本系列内容主要是对小土堆的《Pytorch》课程的笔记整理。
b站地址：https://www.bilibili.com/video/BV1hE411t7RN?spm_id_from=333.337.search-card.all.click

神经网络的基本骨架 - nn.Module

Module简介 : base class for all neural network modules.

模板：
1、_ _ init _ _ 神经网络初始化函数

2、_ _ forward _ _ 前向传播
3、尺寸的调节

神经网络卷积层

dilation：空洞卷积

out_channels:

最大池化操作：

具体操作：找到池化核中最大的数

步长：默认是kernel_size

作用：使训练数量减小，提升训练速度；

图片效果：类似马赛克的效果

神经网络——非线性激活

神经网络——非线性激活

1、inplace作用
2、对图像的作用
引入非线性特征，非线性越多才能训练出各种特征的模型，都是线性的话，泛化能力就比较低。

神经网络-线性层及其他层介绍

Normalization Layers:
采用正则化层，可以加快网络训练速度

recurrent layers：
文字识别中，可能会用到

transformer layers：

dropout layers：
主要目的：防止过拟合，常用于自然语言处理