深度学习
文章平均质量分 59
兔子牙丫丫
这个作者很懒,什么都没留下…
展开
-
yolo算法系列的基础知识的PPT
yolo算法系列的基础知识的PPT原创 2024-09-05 10:56:03 · 146 阅读 · 0 评论 -
DPN网络
此外,DPN使用了分组卷积来降低计算量,并且可以在不改变原有网络结构的前提下,提升性能,使其适合用于检测和分割任务作为新的。可以看到DPN的网络结构和ResNeXt的网络结构很类似。最开始是一个7×7卷积层,接着就是一个最大池化层,再然后是四个。DPN就是在ResNeXt和DenseNet的基础上,融合这两个网络的核心思想而成,论文原文见附录。这种结构的目的是通过不同的路径来利用神经网络的不同特性,从而提高模型的效率和性能。具体是怎么变化的了,接下来我们就一起来理解一下。整体结构是这样,重点就在每个。原创 2024-03-08 10:44:32 · 1042 阅读 · 0 评论 -
Vision Transformer原理
多头自注意力时,先将输入映射到q,k,v,如果只有一个头,qkv的维度都是197x768,如果有12个头(768/12=64),则qkv的维度是197x64,一共有12组qkv,最后再将12组qkv的输出拼接起来,输出维度是197x768,然后在过一层LN,维度依然是。最后会将特殊字符cls对应的输出z0 作为encoder的最终输出 ,代表最终的image presentation(另一种做法是不加cls字符,对所有的tokens的输出做一个平均),如下图公式(4),后面接一个MLP进行图片分类。原创 2024-01-03 15:36:19 · 2240 阅读 · 1 评论 -
深度神经网络中的混合精度训练
深度神经网络 (DNN) 在许多领域取得了突破,包括图像处理和理解、语言建模、语言翻译、语音处理、游戏等。为了实现这些结果,DNN 的复杂性一直在增加,这反过来又增加了训练这些所需的计算资源。混合精度训练通过使用较低精度的算术来降低所需的资源,这具有以下优点。图 1.大型英语语言模型的训练曲线显示了本文中描述的混合精度训练技术的好处。Y 轴是训练损失。不带损耗缩放的混合精度(灰色)在一段时间后会发散,而带损耗缩放的混合精度(绿色)与单精度模型(黑色)匹配。原创 2024-01-03 14:58:55 · 2538 阅读 · 1 评论 -
transform、注意力机制介绍
tranformer说明 图解!逐步理解Transformers的数学原理原创 2023-11-25 20:55:48 · 394 阅读 · 0 评论 -
Pytorch 实现深度学习
深度学习成功背后的一个因素是神经网络的灵活性:我们可以用创造性的方式组合不同的层,从而设计出适用于各种任务的架构。例如,研究人员发明了专门用于处理图像、文本、序列数据和执行动态规划的层。有时我们会遇到或要自己发明一个现在在深度学习框架中还不存在的层。在这些情况下,必须构建自定义层。本节将展示如何构建自定义层。原创 2023-12-08 17:09:43 · 440 阅读 · 0 评论 -
动手学深度学习
《动手学深度学习》 — 动手学深度学习 2.0.0 documentation原创 2023-12-06 20:40:31 · 373 阅读 · 1 评论 -
pytorch卷积神经网络CNN 代码
卷积神经网络原理及代码实现原创 2023-12-06 20:26:17 · 1507 阅读 · 1 评论 -
吴恩达-Deeplearning深度学习笔记
课程概述这些课程专为已有一定基础(基本的编程知识,熟悉 Python、对机器学习有基本了解),想要尝试进入人工智能领域的计算机专业人士准备。介绍显示:“深度学习是科技业最热门的技能之一,本课程将帮你掌握深度学习。”在这 5 堂课中,学生将可以学习到深度学习的基础,学会构建神经网络,并用在包括吴恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。Deep Learning Specialization 对卷积神经网络 (CNN)、递归神经网络 (RNN)、长短期记忆 (LSTM) 等深度学原创 2023-11-25 21:29:44 · 343 阅读 · 0 评论 -
神经网络与深度学习3小时PPT-邱锡鹏
深度学习与神经网络介绍原创 2023-11-25 21:21:22 · 828 阅读 · 0 评论 -
注意力机制--CBAM的研究
注意力机制–CBAM的研究文章目录注意力机制--CBAM的研究前言一、CBAM: Convolutional Block Attention Module二、注意力相关的Pytorch代码代码来自于网上,不是本人写的 [注意力代码的GitHub链接](https://github.com/xmu-xiaoma666/External-Attention-pytorch)前言最近研究了下注意力机制一、CBAM: Convolutional Block Attention ModuleCBAM原创 2021-06-26 09:45:07 · 4208 阅读 · 4 评论 -
如何修改Jupyter Notebook 或者Jupyter Lab的默认启动目录?
如何修改Jupyter Notebook 或者Jupyter Lab的默认启动目录?打开Anaconda在命令行中输入:conda activate env(你自己的环境名称)jupyter Lab :在命令行中输入:jupyter-lab --generate-config(jupyter notebook 的命令类似为:jupyter notebook --generate-config)jupyter Lab :在用户目录(C:\Users\xx.jupyter)下生成一个名字jupyt原创 2021-06-24 17:33:49 · 701 阅读 · 1 评论