![](https://img-blog.csdnimg.cn/3c038843baac4d5ab8ff855249ebb29e.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
DL
文章平均质量分 84
深度学习知识库
wzc-run
不学习就会被AI替代
展开
-
遇到ModuleNotFoundError: No module named xxx
会发现,路径只有conda的lib库以及当前运行文件的路径,也就是"xxx/code/scripts"train.py需要import src.utils as utils。此时,python解释器当然是搜索不到src文件夹下的文件了。显然,不是因为缺少包导致的问题。打印下当前文件的搜索路径。原创 2024-03-19 14:42:45 · 194 阅读 · 0 评论 -
关于DQN过估计的问题
关于DQN过估计的问题:double对DQN离散动作有用,对连续动作的ac框架没有用;clip对ac框架有用,对DQN也有用,但没必要,因为double已经可以了。原创 2024-01-31 23:06:05 · 887 阅读 · 0 评论 -
论文笔记|OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
论文阅读笔记,ICLR 2017的OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER,引入了稀疏门控专家混合层(MoE),由多达数千个前馈子网络组成。可训练的门控网络确定用于每个示例的这些专家的稀疏组合。原创 2024-01-08 13:30:26 · 1908 阅读 · 0 评论 -
论文笔记|Not All Tasks Are Equally Difficult MultiTask Reinforcement Learning with Dynamic Depth Routing
论文笔记 Not All Tasks Are Equally Difficult-- Multi-Task Reinforcement Learning with Dynamic Depth Routing提出了一种动态深度路由(D2R)框架,该框架学习策略性地跳过某些中间模块,从而为每个任务灵活选择不同数量的模块;进一步引入了 ResRouting 方法来解决离策略训练期间行为和目标策略之间不同的路由路径问题原创 2024-01-14 20:17:40 · 922 阅读 · 1 评论 -
终端复用器tmux安装与使用
跑模型防止ssh连接中断--tmux的安装与使用在使用DDP(Huggingface 的accelerate,本质还是DDP) 单机多卡训练时,本来想着用nohup后台运行,这样就不用担心ssh断开连接了,但是DDP使用nohup出现了问题,训练一半的时候会突然中断(收到了中断的信号)nohup跑一段时间显示Message: 'Received 1 death signal, shutting down workers',网上找到的解决方法并记录原创 2023-11-10 21:52:42 · 131 阅读 · 1 评论 -
DL_CrossEntropyLoss使用注意事项
在使用CrossEntropyLoss 时,因为结合了LogSoftmax 和NLLLoss函数,不需要在输出层增加softmax,也不需要将label/target转换为onehot编码,如,label=2,不需要转化为001,当然输出层是输出C个值(C个类)。原创 2023-03-13 01:55:06 · 65 阅读 · 0 评论 -
DL_残差网络(ResNet)
将网络学习目标改为学习残差函数,也就是目标值与预测值的差,通过一个跳跃连接可以解决梯度消失问题,这样就可以搭建更深的网络结构,得到更好的训练结果ResNet是何恺明何博士的辉煌战绩之一,是CNN图像处理史上的一件里程碑事件,主要有如下两点:(1)提出了残差网络结构,将网络的拟合对象转变为拟合残差。在一定程度上解决了模型退化问题以及网络的梯度消失/爆炸问题,突破了1000层的网络深度,使得大规模深度网络成为可能。(2)使用Batch Normalization加速训练(舍弃dropout)原创 2023-03-07 18:28:11 · 118 阅读 · 0 评论