文章目录
写在前面
本系列内容主要是对小土堆的《Pytorch》课程的笔记整理。
b站地址:https://www.bilibili.com/video/BV1hE411t7RN?spm_id_from=333.337.search-card.all.click
神经网络的基本骨架 - nn.Module
Module简介 : base class for all neural network modules.
模板:
1、_ _ init _ _ 神经网络初始化函数
2、_ _ forward _ _ 前向传播
3、尺寸的调节
神经网络卷积层
dilation:空洞卷积
out_channels:
最大池化操作:
具体操作:找到池化核中最大的数
步长:默认是kernel_size
作用:使训练数量减小,提升训练速度;
图片效果:类似马赛克的效果
神经网络——非线性激活
神经网络——非线性激活
1、inplace作用
2、对图像的作用
引入非线性特征,非线性越多才能训练出各种特征的模型,都是线性的话,泛化能力就比较低。
神经网络-线性层及其他层介绍
Normalization Layers:
采用正则化层,可以加快网络训练速度
recurrent layers:
文字识别中,可能会用到
transformer layers:
dropout layers:
主要目的:防止过拟合,常用于自然语言处理