深度学习疑难杂症
关注
分享
扫一扫
文章平均质量分 51
大大小小的深度学习问题都放这里供给查找学习
思考实践
以身作则，静待花开。长期主义，宇宙主义，价值导向。多角度分析问题，积极解决问题，不要停下来。THU-phd，CAS-master.
展开
-
如何理解token在各个领域CV、NLP、TSF？#Tokens in Deep Learning
原创 2024-06-02 20:05:08 · 213 阅读 · 0 评论 -
给小白的分类教程
【深度学习】【机器学习】分类结果分析指标和方法（混淆矩阵、TP、TN、FP、FN、精确率、召回率）（附源码）_混淆矩阵tp fp fn tn-CSDN博客原创 2023-11-25 19:09:53 · 528 阅读 · 0 评论 -
Fedformer中的小波变换（FEB-w模块）
Fedformer中的小波变换（FEB-w模块）原创 2022-10-30 11:27:23 · 935 阅读 · 0 评论 -
如何理解与使用pytorch提供的nn.bilinear层//未完待续
如何理解与使用pytorch提供的nn.bilinear层原创 2022-09-25 21:01:57 · 1193 阅读 · 0 评论 -
Type of Tensor:Bilinear Forms
Tensor的一种：Bilinear tensor国内很少有这方面的资料原创 2022-09-24 23:53:35 · 139 阅读 · 0 评论 -
Jetson nano配置pytorch深度学习环境//待完善
Jetson nano配置pytorch深度学习环境//待完善原创 2022-07-06 20:00:47 · 554 阅读 · 0 评论 -
为什么先划分训练集和测试集后归一化？
先对数据划分训练集和测试集后归一化和对数据归一化后划分测试集和训练集，两者的区别：理论上还是应该先划分数据集，然后对训练数据做预处理，并且保存预处理的参数，在用同样的参数处理测试集。因为划分训练集和测试集就是假设只知道训练集的信息，而认为测试集数据是来自未来的，不可得知。如果之前统一做预处理之后再划分的话就利用了测试集的信息。...原创 2022-06-26 16:30:46 · 5470 阅读 · 0 评论 -
torch.einsum[爱因斯坦求和]//未完待续
入门爱因斯坦简记法：是一种由爱因斯坦提出的，对向量、矩阵、张量的求和运算∑的求和简记法。在该简记法当中，省略掉的部分是：1)求和符号∑与2)求和号的下标i省略规则为：默认成对出现的下标（如下例1中的i和例2中的k）为求和下标。//讲...原创 2022-06-15 14:27:30 · 507 阅读 · 0 评论 -
Autoformer：自相关机制简单版代码理解
Autoformer：自相关机制简单版代码理解autoformer的auto-correlation的输入shape与输出shape一样原创 2022-06-06 08:36:51 · 1120 阅读 · 0 评论 -
Regarding - ProbSparse self-attention in Informer
informer's ProbSparse-attention explanation原创 2022-06-02 14:31:57 · 637 阅读 · 1 评论 -
Autoformer与Informer代码材料//欢迎讨论
https://github.com/zhouhaoyi/Informer2020/issues/187关于预测值的masking · Issue #263 · zhouhaoyi/Informer2020 · GitHub原创 2022-05-26 16:55:30 · 984 阅读 · 2 评论 -
浅析Transformer训练时并行问题
浅析Transformer训练时并行问题 - 知乎 (zhihu.com)上面这个链接配合下面这段话来理解作者：匿名用户链接：https://www.zhihu.com/question/307197229/answer/1574219664来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。我是初学者，我不知道我说的对不对，所以先匿了。以我个人的浅薄见解，Transformer的并行化是指在训练阶段的并行化，测试阶段只有encoder可以并行化，dec.原创 2022-05-25 11:18:27 · 5278 阅读 · 0 评论 -
Transformer 中的mask
简单聊聊transformer里的mask ——转载自链接一1.padding mask在encoder和decoder两个模块里都有padding mask，位置是在softmax之前，为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一样所以需要进行填充，但是用0填充的位置的信息是完全没有意义的（多余的），经过softmax操作也会有对应的输..原创 2022-05-24 17:09:42 · 8805 阅读 · 1 评论 -
Transformer Decoder详解
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E转载 2022-05-24 10:59:08 · 5675 阅读 · 2 评论 -
一点对 KL 散度的理解【亟待解决】
在深度学习中经常用到的一个概念是 KL散度。之前对KL散度进行过一次理解，但后来随着利用次数的减少，开始忘却其具体的定义与物理意义，仅在印象中记得是“描述两个分布的相似度的度量”。这个描述并不准确。为了便于以后查找回顾，这里再次把KL散度的相关理解整理下来。KL 散度,全称 Kullback-Leible divergence, 是用于度量一个拟合分布Q与标准分布P的差异的一种方法，它是非对称的，这意味着. 其中可以理解为Q分布与P分布的差异，或者信息损失。介绍KL散度之前，先介绍信息熵的概念.原创 2022-05-22 09:30:47 · 165 阅读 · 0 评论 -
Voting mechanism
Reference模型融合(集成方法) -投票法_weixin_50304531的博客-CSDN博客_模型融合投票法原创 2022-04-20 20:32:31 · 307 阅读 · 0 评论 -
NMS(non maximum suppression )
参考链接NMS——非极大值抑制_shuzfan的博客-CSDN博客_非极大值抑制//讲的很好，nms-baseline代码注释的很清楚，matlab代码，未验证NMS(非极大值抑制)_木盏的博客-CSDN博客_nms的作用//言简意赅的解释，模仿链接一，python代码，未验证c++版的NMS（非极大抑制）实现_ltshan139的博客-CSDN博客_c++ nms//c++代码，未验证非极大值抑制（Non-Maximum Suppression，NMS） - 康行天下 - ...原创 2022-03-24 03:11:39 · 3047 阅读 · 0 评论 -
动态图转静态图，为什么要转
Paddle框架理解：模型状态、动态图与静态图、paddle.nn与paddle.nn.functional异同Paddle框架理解：模型状态、动态图与静态图、paddle.nn与paddle.nn.functional异同_DU_YULIN的博客-CSDN博客动态图转静态图，为什么要转动态图转静态图-使用文档-PaddlePaddle深度学习平台...原创 2022-02-27 15:33:35 · 559 阅读 · 0 评论 -
yolov5 deepsort 行人车辆 双向计数 跟踪检测
参考资料YOLOv5+DeepSORT多目标跟踪与计数精讲(含行人计数、车辆计数)原创//课程YOLOv5+DeepSORT多目标跟踪与计数精讲(含行人计数、车辆计数)_bai666的技术博客_51CTO博客yolov5 deepsort 行人车辆 双向计数 跟踪检测//代码yolov5 deepsort 行人车辆 双向计数 跟踪检测_中科院AI算法工程师的博客-CSDN博客...原创 2022-02-27 08:50:57 · 3181 阅读 · 6 评论 -
TypeError: load() missing 1 required positional argument: ‘Loader‘
我在调试开源项目的时候遇见了这个问题记录原因：YAML 5.1版本后弃用了yaml.load(file)这个用法，因为觉得很不安全，5.1版本之后就修改了需要指定Loader，通过默认加载器（FullLoader）禁止执行任意函数，该load函数也变得更加安全用以下三种方式都可以d1=yaml.load(file,Loader=yaml.FullLoader)d1=yaml.safe_load(file)d1 = yaml.load(file, Loader=yaml.CLoader原创 2022-02-16 10:26:58 · 548 阅读 · 0 评论 -
ValueError: Duplicate plugins for name projector
环境：Macos之前tensorboardX用这都好好的，突然用tensorboard --logdir=./log的时候给我报错了，通过查询相关资料，大家的解决方案都如下所示tensorboard ValueError: Duplicate plugins for name projector_Avada_533的博客-CSDN博客tensorboard ValueError: Duplicate plugins for name projector - callcall - 博.原创 2022-01-13 09:59:45 · 1795 阅读 · 0 评论 -
概率图模型
原创 2022-01-07 16:18:02 · 393 阅读 · 0 评论 -
知识图谱问答系统【亟待完成】
最近课题组有上海交大的用知识图谱做故障的，看到也有某些用户做农业方面的知识图谱，需要学习调研一下。比如数据集的准备与构建，怎么训练的，有哪些已有的模型，表现怎么样，训练成本怎么样，找个简单的例子先练练手。参考资料基于知识图谱的问答系统(KBQA)_未名湖畔的落叶-CSDN博客_知识图谱问答系统农业领域的知识图谱构建（Agriculture_KnowledgeGraph）_Eason的博客-CSDN博客_农业知识图谱记得去论文网与github上面还有gitee上面去多逛逛...原创 2022-01-06 11:04:12 · 614 阅读 · 0 评论 -
机器学习期末复习笔记
线性判别函数的多分类情况线性判别函数的多分类情况_winycg的博客-CSDN博客_多分类判别函数自信息和互信息、信息熵自信息和互信息、信息熵 - 简书原创 2022-01-03 20:24:43 · 331 阅读 · 0 评论 -
不同任务损失函数、激活函数的选择
回归问题为什么要选择均方差线性回归模型损失函数为什么是均方差_很吵请安静-CSDN博客_线性回归为什么用均方误差分类问题为什么要用交叉熵分类问题为什么要用交叉熵_orangerfun的博客-CSDN博客_分类问题为什么用交叉熵中计算均方误差_为什么分类问题不使用均方误差作为代价函数_CPA研习社的博客-CSDN博客...原创 2021-12-30 10:46:10 · 568 阅读 · 0 评论 -
语义分割数据集的理解
有没有学完fcn感觉了解了结构，但在实现模型的时候发现对数据集都不了解，发现模型本身挺好理解的确最基本的数据集在实际应用发现不会用，再结合到loss的时候如果有人要问到底，自己是否能说的清楚。多说两句一个基础的判断自己是否对一个模型在某个任务的达到基本的掌握，是看是否理解了模型的构造，理解模型的怎么选择的loss,还有相对于以前的一些网络，这种创新点在哪，创新优势通过什么指标怎么体现出来的。还有对于该任务的数据集自己能去简单的自己做一下吗，自己都没有对数据有一个深刻的认识，敢说真正理解了...原创 2021-12-29 19:12:50 · 1566 阅读 · 0 评论 -
【Corse to pixel dense】Shift and Stitch
作用：输入移位和输出交错是一种由OverFeat提出的技巧，可以在没有插值的情况下从粗糙的输出中产生密集预测。 粗糙的输出比如像素点很少不能很好的完成dense prediction原理参考资料语义分割--FCN中的Shift-and-stitch的详解语义分割--FCN中的Shift-and-stitch的详解 - 程序员大本营论文笔记 | CVPR2015 | Fully C...原创 2021-12-24 19:31:36 · 1540 阅读 · 0 评论 -
Cannot uninstall ‘certifi‘. It is a distutils installed project
ERROR: Cannot uninstall 'certifi'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall 直接：Cannot uninstall ‘certifi‘. It is a distutils install...原创 2021-12-12 23:33:57 · 6861 阅读 · 3 评论 -
pytorch实现Deep_Residual_network,resnet源码解读
今天带大家学习resnet网络系列，resnet的发展与思考，任何一篇网络的理解不应该单单局限在一篇或几篇博客上，复制别人的代码，不追根溯源是很难有深度的理解。 所以今天，我整理这篇博客带大家从头到位看resnet为什么有用（理论层面），怎么实现，如何在版本上的迭代（技术层面），pytorch里面关于torchvison.models里面的resnet.py源码已经迭代过几次version了，所以就在这个层面大家也应该知道，一个网络的实现和优化绝不是博...原创 2021-12-11 11:12:30 · 1329 阅读 · 0 评论 -
关于感受野的笔记
经典目标检测和最新目标跟踪都用到了RPN(region proposal network)，锚框(anchor)是RPN的基础，感受野(receptive field, RF)是anchor的基础。所以RF的重要性不言而喻，同时一些网络的设计采用了5x5卷积核可以用2个3x3卷积核替，7X7的卷机核可用用3个3x3卷机核替代。意义是什么，为什么又可用这样做呢？AlexNet（2012）和VGG（Visual Geometry Group，2015）等都是遵循了传统CNN的层层堆砌的结构...原创 2021-12-10 22:52:26 · 1413 阅读 · 0 评论 -
考研数学一：高数、线性代数、概率论的一些个人认为抽象概念的形象解释【从几何、深度学习角度】
抽象概念的解释：①矩阵就是线性变换！矩阵就是线性变换！矩阵就是线性变换！#什么是线性变换？Ax=b Ax=0 这种线性方程就可以理解为线性变换②A~B ：A相似于B，同一线性变换在不同基下的表示 有什么用？化简运算相似矩阵用途，就是把一个矩阵化简，让这矩阵的特点更加突出，找到这类矩阵相应的特征。比如说亚洲人的外貌，对个体来讲，每个亚洲人外貌特点都不一样，但可以通过相似比较得出，亚洲人特征是 黄皮肤，黑头发。你的论文用聚类【无监督学习】 可能是想看看先提取矩阵的特征，然后比较这些特征的相似性，相..原创 2021-01-09 09:19:41 · 1697 阅读 · 2 评论