深度学习
文章平均质量分 86
梁小憨憨
实验室ing
展开
-
Python @staticmethod、super().__init__()和self
最近在看代码,由于之前没有系统学习过Python,就有些知识点不是很清楚,这里整理一下,方便以后查阅。原创 2024-07-22 12:16:45 · 961 阅读 · 0 评论 -
语义分割 Semantic Segmentation
之前了解过语义分割的内容,感觉可以做好多东西,然后就抽空学习了一下,这里记录一下方便以后查阅,这篇文章可能也会随着学习的深入不断更新。原创 2023-10-04 09:17:17 · 463 阅读 · 0 评论 -
深度模型中的正则化、梯度裁剪、偏置初始化操作
最近调试代码,发现怎么调试都不行,就想着用一些优化方式,然后又不是很清楚这些优化方式的具体细节,然后就学习了一下,这里记录下来,方便以后查阅。原创 2023-04-19 16:13:33 · 1807 阅读 · 3 评论 -
深度学习中常用的权重初始化方式
最近看论文,看到不少论文说明他们的卷积的权重初始化方式为Kaiming Uniform,我就好奇这是个什么东西,然后一查才知道,这是一种权重初始化方式,并且是Pytorch默认的一种初始化方式,那就想,这有啥好在论文中写的,显得厉害吧,那我以后也写。原创 2023-04-11 15:37:00 · 1231 阅读 · 0 评论 -
常规&非常规的卷及操作
最近看论文看到深度卷积的内容,然后就想着学习一下,发现论文中说的深度卷积并不是真正的深度卷积,感觉是分组卷积的一种,但是对于论文中得使用方式又有点不理解,就留下了一个问题放在了博客的最后,这里记录一下,方便以后查阅。原创 2023-03-07 22:28:17 · 317 阅读 · 0 评论 -
PyTorch使用Visdom绘制训练过程曲线
最近在训练网络,网络的损失和准确率都是在终端输出的,很不直观,也看不出变化,就想着有没有一种工具可以实现实时的绘制模型的训练过程,然后就搜到了Visdom,发现这是个好东西啊,完全满足了我的需求,学习一下,在这里记录一下,方便以后查阅。原创 2023-02-17 15:24:42 · 961 阅读 · 0 评论 -
yaml配置文件
最近在写代码,发现随着网络的增加,代码变得越来越冗余,所以就想着写一个网络的配置文件,把网络的配置放到一个文件中,而不再主函数中,这样代码开起来就好看了,调试的时候也方便了。原创 2023-02-14 22:52:17 · 2872 阅读 · 0 评论 -
学习率的衰减策略
最近训练网络遇到了问题,然后就开始查找资料,就看到了使用学习率的衰减策略可能解决我的问题,然后就学习了一了,学习完拖了好久没有整理,今天网络训练不下去了,整理下一下换换脑子,也方便以后查阅。原创 2023-02-14 11:37:36 · 1441 阅读 · 0 评论 -
RuntimeError: CUDA out of memory
今天在训练模型的时候突然报了显存不够的问题,然后分析了一下,找到了解决的办法,这里记录一下,方便以后查阅。**注**:以下的解决方案是在**模型测试**而不是模型训练时出现这个报错的!原创 2023-02-12 21:29:50 · 3575 阅读 · 0 评论 -
PyTorch保存部分模型参数,并在新的模型中加载
最近看论文,看到有的方案是先训练一个模型,然后把这个训练好的模型的一部分结构拿到新的模型中,再用新的数据训练新的模型,但是拿过来那一部分的参数是要保留的,期初觉得这很像迁移学习,因为没具体学习过,所以不太确定,就先学习了一下怎么实现论文的方案,这里记录一下,方便以后查阅。至于迁移学习,以后在学习吧,应该会用到的!原创 2023-02-08 20:40:08 · 3634 阅读 · 3 评论 -
全局平均池化(Global Average Pooling)
最近看论文,看到了全局平均池化,之间见过这东西,但是没有仔细了解,今天学习一下,并记录下来,方便以后查阅。原创 2023-02-08 10:13:41 · 18756 阅读 · 3 评论 -
PyTorch 打印模型的评价指标(torchstat)
最近看论文发现有些作者会把模型的浮点运算数给展现出来,自己也学习一下,记录下来方便以后查阅。原创 2023-02-05 10:34:12 · 2459 阅读 · 2 评论 -
PyTorch 打印模型结构、输出维度和参数信息(torchsummary)
使用 PyTorch 深度学习搭建模型后,如果想查看模型结构,可以直接使用 print(model) 函数打印。但该输出结果不是特别直观,查阅发现有个能输出类似 keras 风格 model.summary() 的模型可视化工具。这里记录一下方便以后查阅。原创 2023-01-27 14:54:47 · 15772 阅读 · 5 评论 -
激活函数(26个)
最近在学习网络,发现一会这个网络用了这个激活函数,一会那个网络用了那个激活函数,这些激活函数都有什么作用啊,不知道,这里学习一下,整理下来,方便以后查阅。原创 2023-01-20 20:08:13 · 1692 阅读 · 0 评论 -
LSTM & MultiheadAttention 输入维度
最近遇到点问题,对于模块的输入矩阵的维度搞不清楚,这里在学习一下,记录下来,方便以后查阅。原创 2023-01-18 23:29:14 · 1988 阅读 · 1 评论 -
python多线程
之前一直想看看多线程的东西,但是一直没有时间,最近正好在家隔离,趁着这个时间学习一下,整理下来,方便以后查阅。转载 2022-12-17 23:09:06 · 151 阅读 · 0 评论 -
机器学习|模型评估
今天看论文时,看到了一个指标数值:AUC,然后就查找了一下资料,这里简单记录一下。原创 2022-08-10 17:00:25 · 614 阅读 · 0 评论 -
Deep_Learn关于数组和数的操作
本篇文章纯属作为自己的笔记,因为每次写程序都忘记下面的内容,找起来又很浪费时间,所有就索性一次性都整理下来,后续又不新的不会的内弄也会及时更新到文章当中,方便以后查阅。原创 2022-11-16 22:02:00 · 395 阅读 · 0 评论 -
python绘制混淆矩阵
之前就了解过混淆矩阵,但是一直没有实践,今天刚好有数据实践一下,这里记录一下代码实现过程,方便以后查阅。原创 2022-11-14 23:17:21 · 7398 阅读 · 1 评论 -
pytorch+sklearn实现数据加载
之前在训练网络的时候加载数据都是稀里糊涂的放进去的,也没有理清楚里面的流程,今天整理一下,加深理解,也方便以后查阅。原创 2022-11-14 21:15:08 · 1754 阅读 · 2 评论 -
匿名函数创建——lambda
我没脑子!我没脑子!我没脑子!,lambda查了好多遍了,就是没记住,这里记一下笔记,加深印象,方便以后查阅。原创 2022-11-11 16:08:37 · 191 阅读 · 0 评论 -
Cross-validation: evaluating estimator performance
最近在看程序看到训练集、验证集、测试集,之前就看到过,但是不知道具体是个啥,这里整理一下,方便以后查阅。原创 2022-11-04 22:09:10 · 459 阅读 · 0 评论 -
The Annotated Transformer
我们不生产水,我们只是大自然的搬运工!转载 2022-10-31 15:37:51 · 198 阅读 · 0 评论 -
ResNet浅记
对ResNe比较好奇,既简单学习并浅记一下,方便以后查阅。原创 2022-10-25 16:32:05 · 1022 阅读 · 0 评论 -
NLLLOSS & CrossEntropyLoss
今天在看论文的时候,看到了NLLLOSS函数,嗯?这是个啥,然后就查了查,原来是跟CrossEntropyLoss一样的,这里整理一下,方便以后查阅。原创 2022-09-17 20:59:26 · 1271 阅读 · 0 评论 -
BatchNorm、LayerNorm、InstanceNorm、GroupNorm、WeightNorm
今天看Transform时看到了LayerNorm,然后想到之前用过BatchNorm,就想着这两个有啥区别呢,然后找资料,就发现还有其他的归一化处理,就在这里整理一下,方便以后查阅。原创 2022-09-13 19:19:39 · 2039 阅读 · 0 评论 -
李沐《动手学深度学习》d2l——安装和使用
今天想要跟着沐神学习一下循环神经网络,在跑代码的时候,d2l出现了问题,这里记录一下解决的过程,方便以后查阅。原创 2022-09-06 22:49:31 · 37346 阅读 · 13 评论 -
【pytorch】torch.nn 与 torch.nn.functional 的区别
今天在看pytorch的代码时,看到了torch.nn 和 torch.nn.functional,然后查了两个模块的官方doc,也没有看明白有啥区别,然后就查了一下资料,这里记录一下,方便以后查阅。原创 2022-08-12 21:10:14 · 502 阅读 · 0 评论 -
paddle数据加载源码分析
刚整理完config配置文件,这里顺便把数据加载整理一下,方便以后查阅。原创 2022-08-12 16:33:16 · 213 阅读 · 0 评论 -
config配置文件原理及使用
今天看完了EEGNet的论文准备搭建一下EEGNet的网络,然后想到之前看过网络配置文件的内容,然后想着以后开发自己的网络的能够规范和方便,所以就学习一下,并在这里记录一下,方便以后查阅。......原创 2022-08-11 16:43:42 · 5135 阅读 · 1 评论 -
_, preds = torch.max(outputs.data, 1)
今天在看《PyTorch深度学习》这本书的时候,看到了一段代码,怎么都看不懂,然后CSDN上搜索了一下,发现了大佬的以篇博客《PyTorch系列 | _, predicted = torch.max(outputs.data, 1)的理解》,这里记录一下。_, preds = torch.max(outputs.data, 1)源代码如下:# forward outputs = model(inputs) _, preds = torch.max(outputs.data, 1)loss = c原创 2021-11-22 09:18:07 · 4716 阅读 · 5 评论 -
VScode使用服务器的Python解释器
本篇为《深度学习》系列博客的第十七篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。VScode使用服务器的Python解释器安装remote-ssh配置remote-ssh使用服务器解释器安装remote-ssh配置remote-ssh点击远程连接图标,然后点击左上角的下拉选项,选择SSH Targets,然后点击设置按钮,如下图所示:点击设置按钮之后,选择后缀为.ssh\config的选项,进入新的设置界面,按照下面的说明设置即可:Host 连接名称原创 2021-07-26 12:09:42 · 9956 阅读 · 7 评论 -
Transformer的说明——外文翻译
本篇为《深度学习》系列博客的第十六篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。原文地址:https://jalammar.github.io/illustrated-transformer/The Illustrated TransformerA High-Level LookThe Transformer was proposed in the paper Attention is All You Need. A TensorFlow implementation o翻译 2021-06-12 17:41:35 · 791 阅读 · 0 评论 -
GitHub:图像分类/目标检测资料
本篇为《深度学习》系列博客的第十五篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。GitHub:图像分类/目标检测资料Awesome - Image ClassificationAwesome-Object-DetectionAwesome - Image Classification这是 weiaicunzai 在学习图像分类时,整理的论文和代码等资源合集。其中论文年份是从2014年开始,所列出的论文都是在ImageNet上有一定 TOP1和TOP5 准确度的。这个开源原创 2021-06-10 11:19:06 · 624 阅读 · 0 评论 -
目标检测综述——Paddle
本篇为《深度学习》系列博客的第十四篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。本篇ppt来自于百度的《百度顶会论文复现营第2期》课程,如想了解详情,请移步上述课程链接。目标检测综述目标检测概述两阶段方法两阶段之R-CNN两阶段之SPP-Net两阶段之Fast R-CNN两阶段之Fasher R-CNN两阶段之FPN两阶段之Mask-RCNN一阶段方法一阶段之YOLO一阶段之SSD一阶段之RetinaNet目标检测概述PaulViola,MichaelJ.J转载 2021-06-01 09:36:33 · 218 阅读 · 0 评论 -
Transformer技术路线综述——Paddle
本篇为《深度学习》系列博客的第十三篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。本篇ppt来自于百度的《百度顶会论文复现营第2期》课程,如想了解详情,请移步上述课程链接。Transformer综述...转载 2021-05-31 09:19:39 · 686 阅读 · 0 评论 -
循环神经网络、注意力机制、Transformer——Paddle
本篇为《深度学习》系列博客的第十二篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。原创 2021-05-30 16:14:56 · 1916 阅读 · 10 评论 -
PaddlePaddle的静态图与动态图
本篇为《深度学习》系列博客的第十一篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。今天想着把自己的网络结构用VisualDL看一下,然后发现了save函数,然后函数的输入变量是fluid.default_main_program(),就想着改变一下程序, 写了一中午,就是调试不通,才发现是静态图和动态图的问题!!!PaddlePaddle的静态图与动态图静态图与动态图的概念静态图与动态图代码对比使用tensorflow实现静态图代码使用PyTorch实现动态图代码使用Padd原创 2021-04-15 17:04:00 · 4093 阅读 · 0 评论 -
PaddlePaddle快速入门
本篇为《深度学习》系列博客的第十篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。以下内容都是摘抄自百度AI Studio的课程《目标检测7日打卡营》的《新手入门第四课-PaddlePaddle快速入门》,感谢百度AI Studio的课程!!!看了一天的代码,把我给看傻了,所以决定再回过头来摘抄一下PaddlePaddle入门部分的知识!!!PaddlePaddle快速入门PaddlePaddle基础命令计算常量的加法:1+1计算变量的加法:1+1使用PaddlePaddle转载 2021-04-14 22:44:52 · 533 阅读 · 0 评论 -
计算机视觉——Paddle
本篇为《深度学习》系列博客的第九篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅。以下内容都是摘抄自百度AI Studio的课程《百度架构师手把手带你零基础实践深度学习》,感谢百度AI Studio的课程!!!计算机视觉计算机视觉概述视觉的起源和发展从生物视觉到机器视觉计算机视觉的主要任务计算机视觉的发展历程图像识别的基本框架早期图像处理方法中期图像处理方法深度学应用于图像处理计算机视觉的应用场景卷积神经网络基础卷积神经网络的主要内容为什么引入卷积神经网络卷积神经网络的主要模块原创 2021-04-12 16:47:23 · 620 阅读 · 0 评论