pytorch（三）——笔记

最新推荐文章于 2024-09-28 21:53:15 发布
最新推荐文章于 2024-09-28 21:53:15 发布
阅读量1.1k 收藏 6
点赞数
文章标签： 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45649258/article/details/124280262
版权

目录

梯度

1.什么是梯度

1.1 Clarification

导数：反应变换的程度。偏微分：函数有多少个自变量，它就有多少个偏微分。梯度：梯度是一个向量
在这里插入图片描述

1.2 What does grad mean？

梯度是有方向，有大小的
在这里插入图片描述

1.3 How to search for minima

给函数找到一个极小值解
在这里插入图片描述

1.4 Convex function

凹函数，可以找到一个最优解
在这里插入图片描述

1.5 Local Minima

上面的凹函数属于理想状况，真实遇到的情况可能是这样
在这里插入图片描述

2.激活函数与Loss的梯度

2.1 Activation Functions

科学家在青蛙的神经元上得到了灵感
在这里插入图片描述

2.2 Typical Loss

均方差
在这里插入图片描述

2.3 auto.grad

利用pytorch自动求导
在这里插入图片描述

2.4 loss.backward

可以直接调用backward求导，它会从后自动往前传播
在这里插入图片描述

2.5 Softmax

下图为对于三个节点的输出
在这里插入图片描述

2.6 Derivative

在这里插入图片描述

3.感知机

3.1 Perceptron

第一层只有一个节点
在这里插入图片描述

3.2 Perceptron

在这里插入图片描述

3.3 Multi-output Perceptron

在这里插入图片描述

神经网路

4.神经网络与全连接

4.1 Lottery

在这里插入图片描述

4.2 Cross Entropy

在这里插入图片描述

4.3 Binary Classification

对于二分类的问题怎么算
在这里插入图片描述

4.4 Numerical Stability

在这里插入图片描述

5.全连接层

5.1 nn.Linear

直接写一个多层的连接层
在这里插入图片描述

5.2 relu

要求非线性
在这里插入图片描述

5.3 concisely

第一步
在这里插入图片描述

第二步
在这里插入图片描述

第三步
在这里插入图片描述

5.4 如何训练

在这里插入图片描述

鹿衔草啊
关注
Pytorch学习笔记——文本预处理
01-06
文本预处理 1、概述 文本数据：有用内容和无用内容 文章：单词、符号、空格、乱码等 思想：我们需要对无用信息进行过滤，而计算机无法直接处理单词等有用信息，我们需要把他们转换成数字。将单词映射到不同的数字，...
pytorch课堂笔记.pdf
07-10
深度学习是机器学习的一个子集，它着重于构建更为复杂的模型——神经网络，以学习数据的内在规律和表示层次。深度学习的出现使机器学习更加接近于最初的目标：实现人工智能。深度学习特别擅长于处理诸如文字、图像和...
PyTorch——深度神经网络的写作笔记
01-20
在PyTorch中，深度神经网络（Deep Neural Networks, DNNs）的构建是通过`nn.Module`类来实现的。这个类是PyTorch中所有模块的基础，它允许我们定义复杂的计算图，并且能够自动求导，非常适合进行深度学习模型的搭建...
Pytorch学习笔记——过拟合、欠拟合及其解决方案
01-20
5. 在PyTorch中，我们可以通过定义神经网络模型（如线性层`torch.nn.Linear`）并使用优化器（如`torch.optim.SGD`）以及损失函数（如`torch.nn.MSELoss`）来训练模型。在训练过程中，我们需要监控训练和验证损失，以...
PyTorch：我的PyTorch深度学习笔记本
02-16
《PyTorch深度学习探索——基于个人笔记本的实践与理解》 PyTorch，作为一款由Facebook开发的开源机器学习库，以其灵活易用、动态计算图的优势在深度学习领域备受青睐。它不仅适合研究者进行快速原型设计，也适用于...
DeepSS2GO——基于 CNN 的模型可以根据化学键预测蛋白质的功能
知来者逆的博客
09-24 647
研究发现，DeepSS2GO通过减少主序列中的冗余信息并引入一个整合二级结构特征的学习模块，提高了预测蛋白质功能的性能。作者引入了经典的卷积神经网络来提高该模型二次结构的有效性，但认为可以利用GNN 和****自监督学习来进一步提高功能预测模型的性能。此外，用于预测一级结构和二级结构的算法认为，氨基酸长度超过 1024 个的大型蛋白质不在预测范围之内。今后，必须引入对更长序列进行二级结构预测的方法。此外，该模型还可用于预测多肽的功能，从而更广泛地阐明疾病和发现药物靶点。
Deep Learning for Video Anomaly Detection: A Review 深度学习视频异常检测综述阅读
最新发布
weixin_44609958的博客
09-28 681
视频异常检测（VAD）旨在发现视频中偏离正常行为或事件。作为计算机视觉领域的一项长期任务，VAD已经取得了显著的进展。在深度学习时代，随着架构能力和容量的不断爆炸式增长，各种基于深度学习的VAD方法不断涌现，极大地提高了检测算法的泛化能力，并拓宽了应用场景。因此，如此众多的方法和大量的文献使得进行全面的综述成为一项迫切的需求。
深度学习常见术语介绍
Tunny_one
09-28 330
深度学习常见术语介绍
24.9.24学习笔记
m0_64006292的博客
09-24 839
编码器（Encoder）：将输入序列编码成一个固定长度的上下文向量（也称为隐状态或编码器的最终状态）。解码器（Decoder）：根据编码器生成的上下文向量，逐步生成目标序列。
基于深度学习的缺失数据的图像修复
weixin_42605076的博客
09-26 769
图像修复的基本目标是根据图像的上下文信息恢复缺失的部分。卷积神经网络（CNN）：CNN通过学习图像的局部特征，能够有效捕捉到图像的空间信息。模型通常在含有缺失区域的图像和相应的完整图像之间进行训练，以学习如何填补这些缺失区域。生成对抗网络（GANs）：GANs通过对抗训练的方式提高生成图像的质量。修复网络和判别网络相互竞争，修复网络努力生成真实的缺失部分，而判别网络则尝试区分修复后的图像和真实图像。这样可以生成更加自然和真实的修复结果。自编码器。
深度学习基础案例7--马铃薯病识别，对VGG16进行轻量级优化，计算量减少了99%，但是准确率下降4%
weixin_74085818的博客
09-25 942
vgg16是CNN卷积神经网络的经典架构，它拥有13层卷积，3层池化构成，下图是本人第一次画的神经网络🤠🤠🤠🤠。
Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型
2402_85668383的博客
09-25 882
本文基于Python仿真的电能质量扰动信号，先经过数据预处理进行数据集的制作和加载，然后通过Pytorch实现CNN-Transformer模型对扰动信号的分类。
深入探索卷积神经网络（CNN）
码途探索
09-24 963
在当今这个数据驱动的时代，图像识别、分析和理解已成为人工智能领域中最为活跃的研究方向之一。从自动驾驶汽车到智能手机的人脸识别功能，再到医学影像分析，图像处理技术的应用无处不在，且其重要性日益凸显。卷积神经网络（CNN），作为深度学习领域的一项突破性技术，已经成为图像识别和分类任务中的首选工具。CNN之所以强大，是因为它能够自动、高效地从大量图像数据中学习到有用的特征，而无需人工干预。这种能力使得CNN在图像和视频分析、自然语言处理甚至游戏等领域都取得了令人瞩目的成就。
57 长短期记忆网络(LSTM)_by《李沐:动手学深度学习v2》pytorch版
buyaotutou的博客
09-28 771
在[初始化函数]中，长短期记忆网络的隐状态需要返回一个额外的记忆元，单元的值为0，形状为（批量大小，隐藏单元数）。因此，我们得到以下的状态初始化。实际模型]的定义与我们前面讨论的一样：提供三个门和一个额外的记忆元。请注意，只有隐状态才会传递到输出层，而记忆元CtCt​不直接参与输出计算。outputs.append(Y) #Y的shape是（批量大小，词表长度）只有这里输出了批量大小的预测，之后才能用来计算损失。
YOLOv8最新改进2023 CVPR 结合BiFormer
qq_53545309的博客
09-28 262
作为视觉转换器的核心构建块，衰减是捕获长距离依赖性的强大工具。然而，这种能力是有代价的：它会产生巨大的计算负担和沉重的内存占用，因为所有空间位置的成对标记交互都是计算的。一系列作品试图通过将手工制作和与内容无关的稀疏性引入 attention 来缓解这个问题，例如将 attention 操作限制在局部窗口、轴向条纹或扩张的窗口内。与这些方法相反，我们提出了一种通过双层路由的新型 dy namic 稀疏注意力，以实现具有内容感知的更灵活的计算分配。
《深度学习》自然语言处理 统计、神经语言模型 结构、推导解析
wx_AHao1004Y的博客
09-28 898
自然语言处理（Natural Language Processing，NLP）是一门研究人类语言与计算机之间交互的领域。它涉及了计算机科学、人工智能和语言学等多个学科，致力于使计算机能够理解、分析、处理和生成人类自然语言。自然语言处理的目标是使计算机能够像人类一样对语言进行理解和处理。这包括了自动文本摘要、机器翻译、情感分析、文本分类、问答系统、语音识别、语义理解等多个任务。
深度学习：调整学习率
纸上得来终觉浅
09-25 1520
调整学习率
深度学习(2):梯度下降
qq_51976556的博客
09-24 1035
但在多变量函数中，梯度是一个向量，其分量是各个单一变量的偏导数。这个向量指向函数增长最快的方向，其向量的模（大小）表示在那个方向上的最大变化率。类似y = ax + b这种单变量的函数来说，导数就是它的斜率，这种情况下可以说梯度就是导数。所以我们沿着梯度的反方向走，这就是下降最快的方向，这样就能够使得损失函数最快的下降了。
基于深度学习的竞争性对抗学习
weixin_42605076的博客
09-23 782
基于深度学习的竞争性对抗学习通过模拟智能体之间的对抗行为，提升了模型在博弈、策略优化等场景中的表现。其在游戏AI、自动驾驶、金融市场、对抗性攻击与防御等领域具有广泛应用前景。未来，随着对复杂博弈和多智能体系统的深入研究，竞争性对抗学习将在更多实际场景中发挥关键作用。
Python编程基础与实战笔记
笔记作者参考了《全国计算机等级考试二级教程——Python语言程序设计》（2019年版），学习时间跨度为2020年1月3日至2020年3月3日，总字数为47291字。" 在这些笔记中，我们可以学习到以下几个重要的Python知识点： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值