深度学习
文章平均质量分 87
梁小憨憨
实验室ing
展开
-
Dropout与DropPath
最近在看VMamba的代码,看到了DropPath,之前没见过,这里学习一下,记录下来方便以后查阅。原创 2024-08-11 18:41:20 · 737 阅读 · 0 评论 -
Nvidia显卡在深度学习应用中一些概念解释
之前一直在搞深度学习,最近又想着安装一下mamba试一下效果,可以配置环境就花了好长时间,主要还是一些概念没有弄明白,这里记录一下,方便以后查阅。原创 2024-08-11 11:51:58 · 903 阅读 · 0 评论 -
安装VMamba并测试VSSBlock
最近想试一下VMamba的效果,所以想着安装一下VMamba,试一下VSSBlock的效果,这里记录一下安装过程,以备后续查阅。原创 2024-08-10 19:28:57 · 1076 阅读 · 0 评论 -
Python @staticmethod、super().__init__()和self
最近在看代码,由于之前没有系统学习过Python,就有些知识点不是很清楚,这里整理一下,方便以后查阅。原创 2024-07-22 12:16:45 · 1010 阅读 · 0 评论 -
语义分割 Semantic Segmentation
之前了解过语义分割的内容,感觉可以做好多东西,然后就抽空学习了一下,这里记录一下方便以后查阅,这篇文章可能也会随着学习的深入不断更新。原创 2023-10-04 09:17:17 · 908 阅读 · 0 评论 -
深度模型中的正则化、梯度裁剪、偏置初始化操作
最近调试代码,发现怎么调试都不行,就想着用一些优化方式,然后又不是很清楚这些优化方式的具体细节,然后就学习了一下,这里记录下来,方便以后查阅。原创 2023-04-19 16:13:33 · 2170 阅读 · 3 评论 -
深度学习中常用的权重初始化方式
最近看论文,看到不少论文说明他们的卷积的权重初始化方式为Kaiming Uniform,我就好奇这是个什么东西,然后一查才知道,这是一种权重初始化方式,并且是Pytorch默认的一种初始化方式,那就想,这有啥好在论文中写的,显得厉害吧,那我以后也写。原创 2023-04-11 15:37:00 · 1554 阅读 · 0 评论 -
常规&非常规的卷及操作
最近看论文看到深度卷积的内容,然后就想着学习一下,发现论文中说的深度卷积并不是真正的深度卷积,感觉是分组卷积的一种,但是对于论文中得使用方式又有点不理解,就留下了一个问题放在了博客的最后,这里记录一下,方便以后查阅。原创 2023-03-07 22:28:17 · 536 阅读 · 0 评论 -
PyTorch使用Visdom绘制训练过程曲线
最近在训练网络,网络的损失和准确率都是在终端输出的,很不直观,也看不出变化,就想着有没有一种工具可以实现实时的绘制模型的训练过程,然后就搜到了Visdom,发现这是个好东西啊,完全满足了我的需求,学习一下,在这里记录一下,方便以后查阅。原创 2023-02-17 15:24:42 · 1081 阅读 · 0 评论 -
yaml配置文件
最近在写代码,发现随着网络的增加,代码变得越来越冗余,所以就想着写一个网络的配置文件,把网络的配置放到一个文件中,而不再主函数中,这样代码开起来就好看了,调试的时候也方便了。原创 2023-02-14 22:52:17 · 3011 阅读 · 0 评论 -
学习率的衰减策略
最近训练网络遇到了问题,然后就开始查找资料,就看到了使用学习率的衰减策略可能解决我的问题,然后就学习了一了,学习完拖了好久没有整理,今天网络训练不下去了,整理下一下换换脑子,也方便以后查阅。原创 2023-02-14 11:37:36 · 1603 阅读 · 0 评论 -
RuntimeError: CUDA out of memory
今天在训练模型的时候突然报了显存不够的问题,然后分析了一下,找到了解决的办法,这里记录一下,方便以后查阅。**注**:以下的解决方案是在**模型测试**而不是模型训练时出现这个报错的!原创 2023-02-12 21:29:50 · 3699 阅读 · 0 评论 -
PyTorch保存部分模型参数,并在新的模型中加载
最近看论文,看到有的方案是先训练一个模型,然后把这个训练好的模型的一部分结构拿到新的模型中,再用新的数据训练新的模型,但是拿过来那一部分的参数是要保留的,期初觉得这很像迁移学习,因为没具体学习过,所以不太确定,就先学习了一下怎么实现论文的方案,这里记录一下,方便以后查阅。至于迁移学习,以后在学习吧,应该会用到的!原创 2023-02-08 20:40:08 · 3893 阅读 · 3 评论 -
全局平均池化(Global Average Pooling)
最近看论文,看到了全局平均池化,之间见过这东西,但是没有仔细了解,今天学习一下,并记录下来,方便以后查阅。原创 2023-02-08 10:13:41 · 20528 阅读 · 3 评论 -
PyTorch 打印模型的评价指标(torchstat)
最近看论文发现有些作者会把模型的浮点运算数给展现出来,自己也学习一下,记录下来方便以后查阅。原创 2023-02-05 10:34:12 · 2671 阅读 · 2 评论 -
PyTorch 打印模型结构、输出维度和参数信息(torchsummary)
使用 PyTorch 深度学习搭建模型后,如果想查看模型结构,可以直接使用 print(model) 函数打印。但该输出结果不是特别直观,查阅发现有个能输出类似 keras 风格 model.summary() 的模型可视化工具。这里记录一下方便以后查阅。原创 2023-01-27 14:54:47 · 16206 阅读 · 5 评论 -
激活函数(26个)
最近在学习网络,发现一会这个网络用了这个激活函数,一会那个网络用了那个激活函数,这些激活函数都有什么作用啊,不知道,这里学习一下,整理下来,方便以后查阅。原创 2023-01-20 20:08:13 · 2267 阅读 · 0 评论 -
LSTM & MultiheadAttention 输入维度
最近遇到点问题,对于模块的输入矩阵的维度搞不清楚,这里在学习一下,记录下来,方便以后查阅。原创 2023-01-18 23:29:14 · 2451 阅读 · 1 评论 -
python多线程
之前一直想看看多线程的东西,但是一直没有时间,最近正好在家隔离,趁着这个时间学习一下,整理下来,方便以后查阅。转载 2022-12-17 23:09:06 · 323 阅读 · 0 评论 -
机器学习|模型评估
今天看论文时,看到了一个指标数值:AUC,然后就查找了一下资料,这里简单记录一下。原创 2022-08-10 17:00:25 · 868 阅读 · 0 评论 -
Deep_Learn关于数组和数的操作
本篇文章纯属作为自己的笔记,因为每次写程序都忘记下面的内容,找起来又很浪费时间,所有就索性一次性都整理下来,后续又不新的不会的内弄也会及时更新到文章当中,方便以后查阅。原创 2022-11-16 22:02:00 · 1388 阅读 · 0 评论 -
python绘制混淆矩阵
之前就了解过混淆矩阵,但是一直没有实践,今天刚好有数据实践一下,这里记录一下代码实现过程,方便以后查阅。原创 2022-11-14 23:17:21 · 7764 阅读 · 1 评论 -
pytorch+sklearn实现数据加载
之前在训练网络的时候加载数据都是稀里糊涂的放进去的,也没有理清楚里面的流程,今天整理一下,加深理解,也方便以后查阅。原创 2022-11-14 21:15:08 · 1867 阅读 · 2 评论 -
匿名函数创建——lambda
我没脑子!我没脑子!我没脑子!,lambda查了好多遍了,就是没记住,这里记一下笔记,加深印象,方便以后查阅。原创 2022-11-11 16:08:37 · 196 阅读 · 0 评论 -
Cross-validation: evaluating estimator performance
最近在看程序看到训练集、验证集、测试集,之前就看到过,但是不知道具体是个啥,这里整理一下,方便以后查阅。原创 2022-11-04 22:09:10 · 839 阅读 · 0 评论 -
The Annotated Transformer
我们不生产水,我们只是大自然的搬运工!转载 2022-10-31 15:37:51 · 425 阅读 · 0 评论 -
ResNet浅记
对ResNe比较好奇,既简单学习并浅记一下,方便以后查阅。原创 2022-10-25 16:32:05 · 1035 阅读 · 0 评论 -
NLLLOSS & CrossEntropyLoss
今天在看论文的时候,看到了NLLLOSS函数,嗯?这是个啥,然后就查了查,原来是跟CrossEntropyLoss一样的,这里整理一下,方便以后查阅。原创 2022-09-17 20:59:26 · 1441 阅读 · 0 评论 -
BatchNorm、LayerNorm、InstanceNorm、GroupNorm、WeightNorm
今天看Transform时看到了LayerNorm,然后想到之前用过BatchNorm,就想着这两个有啥区别呢,然后找资料,就发现还有其他的归一化处理,就在这里整理一下,方便以后查阅。原创 2022-09-13 19:19:39 · 2391 阅读 · 0 评论 -
李沐《动手学深度学习》d2l——安装和使用
今天想要跟着沐神学习一下循环神经网络,在跑代码的时候,d2l出现了问题,这里记录一下解决的过程,方便以后查阅。原创 2022-09-06 22:49:31 · 38650 阅读 · 13 评论 -
【pytorch】torch.nn 与 torch.nn.functional 的区别
今天在看pytorch的代码时,看到了torch.nn 和 torch.nn.functional,然后查了两个模块的官方doc,也没有看明白有啥区别,然后就查了一下资料,这里记录一下,方便以后查阅。原创 2022-08-12 21:10:14 · 566 阅读 · 0 评论 -
paddle数据加载源码分析
刚整理完config配置文件,这里顺便把数据加载整理一下,方便以后查阅。原创 2022-08-12 16:33:16 · 275 阅读 · 0 评论 -
config配置文件原理及使用
今天看完了EEGNet的论文准备搭建一下EEGNet的网络,然后想到之前看过网络配置文件的内容,然后想着以后开发自己的网络的能够规范和方便,所以就学习一下,并在这里记录一下,方便以后查阅。......原创 2022-08-11 16:43:42 · 5319 阅读 · 1 评论 -
_, preds = torch.max(outputs.data, 1)
今天在看《PyTorch深度学习》这本书的时候,看到了一段代码,怎么都看不懂,然后CSDN上搜索了一下,发现了大佬的以篇博客《PyTorch系列 | _, predicted = torch.max(outputs.data, 1)的理解》,这里记录一下。_, preds = torch.max(outputs.data, 1)源代码如下:# forward outputs = model(inputs) _, preds = torch.max(outputs.data, 1)loss = c原创 2021-11-22 09:18:07 · 4793 阅读 · 5 评论 -
VScode使用服务器的Python解释器
本篇为《深度学习》系列博客的第十七篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。VScode使用服务器的Python解释器安装remote-ssh配置remote-ssh使用服务器解释器安装remote-ssh配置remote-ssh点击远程连接图标,然后点击左上角的下拉选项,选择SSH Targets,然后点击设置按钮,如下图所示:点击设置按钮之后,选择后缀为.ssh\config的选项,进入新的设置界面,按照下面的说明设置即可:Host 连接名称原创 2021-07-26 12:09:42 · 10601 阅读 · 7 评论 -
Transformer的说明——外文翻译
本篇为《深度学习》系列博客的第十六篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。原文地址:https://jalammar.github.io/illustrated-transformer/The Illustrated TransformerA High-Level LookThe Transformer was proposed in the paper Attention is All You Need. A TensorFlow implementation o翻译 2021-06-12 17:41:35 · 1023 阅读 · 0 评论 -
GitHub:图像分类/目标检测资料
本篇为《深度学习》系列博客的第十五篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。GitHub:图像分类/目标检测资料Awesome - Image ClassificationAwesome-Object-DetectionAwesome - Image Classification这是 weiaicunzai 在学习图像分类时,整理的论文和代码等资源合集。其中论文年份是从2014年开始,所列出的论文都是在ImageNet上有一定 TOP1和TOP5 准确度的。这个开源原创 2021-06-10 11:19:06 · 692 阅读 · 0 评论 -
目标检测综述——Paddle
本篇为《深度学习》系列博客的第十四篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。本篇ppt来自于百度的《百度顶会论文复现营第2期》课程,如想了解详情,请移步上述课程链接。目标检测综述目标检测概述两阶段方法两阶段之R-CNN两阶段之SPP-Net两阶段之Fast R-CNN两阶段之Fasher R-CNN两阶段之FPN两阶段之Mask-RCNN一阶段方法一阶段之YOLO一阶段之SSD一阶段之RetinaNet目标检测概述PaulViola,MichaelJ.J转载 2021-06-01 09:36:33 · 534 阅读 · 0 评论 -
Transformer技术路线综述——Paddle
本篇为《深度学习》系列博客的第十三篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。本篇ppt来自于百度的《百度顶会论文复现营第2期》课程,如想了解详情,请移步上述课程链接。Transformer综述...转载 2021-05-31 09:19:39 · 777 阅读 · 0 评论 -
循环神经网络、注意力机制、Transformer——Paddle
本篇为《深度学习》系列博客的第十二篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。原创 2021-05-30 16:14:56 · 1973 阅读 · 10 评论