时间的河0-CSDN博客

原创深度学习如何实现分步训练？

在许多深度学习任务中，特别是涉及多模态数据的任务（例如视频和关键点），通常采用阶段训练策略。初步，可以对每个模态单独训练一个编码器，然后在后续阶段将它们结合起来进行联合训练。为了在同一个框架内实现分步训练策略，可以先把各个模块集成到一个统一的模型结构，然后根据当前的任务选择性的激活或者冻结模型的某些部分。3.联合训练：将预训练好的模型进行联合训练，要确保参数都是可更新的。2.选择性激活、冻结。

2023-10-07 16:39:06 142 1

原创 AI论文、博客、公众号内容学习（每日持续更新，自用，侵删）

这个常数值通常非常接近最优常数解(OCS)，也就是在不观察输入的情况下，可以使训练数据平均损失最小化的预测。（也就是说模型本身也有惯性思维？）（是否可以用这个例子？比如分类任务，每个样本都有预测的概率分布，如果将所有概率分布叠加，然后取概率分布最大的那个数，这个数就是OCS）在8个数据集上，"输入分布的转移量"与"模型输出与OCS之间的距离"高度相关（这句话如何理解？），这种相关性贯穿不同的分布变化、损失函数和模型架构。

2023-10-04 15:38:26 69 1

原创跑深度学习实验有用的操作

由于ChatGPT出现后，我们不太需要记住某些命令的具体语法，而更要关注是否存在这样的功能以及如何用更恰当的语言来描述这样的功能。因此下面我将汇总自己在跑深度学习模型时需要用到的一些操作，分别以需求+简略解决方法的格式来写出，之后如果需要用到，可以将原话复制给ChatGPT，让它帮忙提出解决方案即可。解决方式：使用tmux在服务器上开一个会话，执行wget任务。后期需要时，可以重新连接回去。1.需求：在wget数据时，需要很长时间。但是怕xshell连接SSH容易中断，所以希望下载任务在服务器上自主运行。

2023-10-01 16:55:54 66

原创 PyTorch分布式训练笔记

【主要参考资料】

2023-10-01 16:55:18 72

原创【论文笔记】End-to-End Video-To-Speech Synthesis using Generative AdversarialNetworks

Video2Speech任务，即视频（静音）中有人在说话，通过深度学习模型重建出说话的语音。虽然深度学习已经极大地提高了ASR（自动语音识别）的性能，但在噪声环境下或者音频流中有缺口的情况下，这些模型的性能仍然不理想。因此，研究者开始关注基于视频的语音识别，即唇读。唇读模型可以用于各种应用，比如在噪音环境下的视频会议或者为不能发声的人生成人工语音。

2023-09-21 11:41:08 125 1

原创【论文笔记】Two-Stream Network for Sign Language Recognitionand Translation

3.关键点图的encoder与video的encoder相似，只是第一个卷积层被修改成适应关键点的输入。即使用79个关键点。通过手语词典，可以知道每个gloss主要的动作，利用关键点图构建标签，即主要动作涉及的部位保留关键点，不是主要动作涉及的部位，筛掉。五、Sign Pyramid Network：更好捕捉不同temporal span的gloss，有效的监督浅层学习有意义的表征。2.热力图表示为G，大小为（T, H’, W’, K），其中H’, W’代表每个热力图的空间分辨率。K代表总的关键点数量。

2023-09-13 14:20:18 199 1

原创 CUDA中内核的启动方式以及内核在GPU上的执行方式

如果我们定义了多个流，不同流中的操作可以同时在GPU上执行。但在GPU上，如果你在同一流中调用了多个内核，它们会按照顺序执行。内核被启动时，CPU会异步地启动它，这意味着它不会等待这个内核完成，它会立即移动到下一行代码，即启动。当我们在CPU上调用GPU命令后，CPU不会阻塞等待内核在GPU上完成，而是继续执行下一行的代码。在CUDA中的同一个流（stream），一次只能处理一个内核。内核启动，CPU再次异步地继续其操作，执行其余的代码，直到我们显式地调用。因此，它们在GPU上是顺序执行的，这是同步的。

2023-08-16 16:21:20 377

原创 Windows上运行TensorRT的“Hello World“代码

这个项目使用TensorRT将一个已经训练好的ONNX模型转换为trt文件，并进行推理。模型在数据集上进行训练。

2023-08-16 15:53:46 112

原创 PIMPL模式设计实现

我们希望用户只需要#include "foo.h"即可使用CFoo类的各种功能，但是发现main函数不但要调用foo.h，还需要调用FooInternalData.h与Header.h，因为在CFoo类的具体实现中用到了这两个头文件。在foo.cpp中，给出了上面foo.h中声明的CFoo_pimpl类的结构与定义。同时该文件中也定义了CFoo类的成员，因为功能都是在CFoo_pimpl类中实现的，所以CFoo类只是调用CFoo_pimpl类方法，从而实现了对代码的封装。

2023-08-14 13:54:35 66

weixin_45574604的博客