m0_65055399的博客

原创 nvidia-smi 相关操作

nvidia-smi：可以查看显卡的型号、驱动版本、显卡目前温度、显存已使用及剩余、正使用显卡的所有进程及占用显存等信息；可以查看指定显卡的使用情况，如查看0号卡的情况：nvidia-smi -i 0；如果存在某一块显卡损坏，使用nvidia-smi会报错。

原创 k折交叉验证和epoch的循环关系！

k折交叉验证是数据量太少的时候防止过拟合的一种手段，kf.split（）内部每次都会按照设定的k值，等分不同的训练集和验证集，其中，for train, val in kf.split(data):，这行代码中每次都会选择不同的k-1训练集，剩下的作为验证集。所以二者的关系应该是epoch嵌套在k折中进行训练和验证，目的是每折都会经过预定次数的epoch训练、验证，得到一折的结果，然后k折的结果进行平均。而epoch是训练轮数，是为了通过epoch叠加，实现参数迭代，损失下降。

原创 open方法对文件的操作

原创 正确理解PE

可能的猜想是，embedding之后的向量属于高维向量，position encoding后的与之同维，也是高维，二者在高维空间内分别占据部分子空间，并相互正交。Transformer使用MHSA(Multi-Head Self-Attention)，从而避免使用了RNN的递归方法，加快了训练时间，同时，它可以捕获句子中的长依赖关系，能够应对更长的输入。简而言之，Trans架构需要对输入的Tokens添加位置编码，以辅助模型学习不同patch之间相对位置关系，比如词序、图像分割的patch。

原创 多模态步骤

3. **共享表示学习：** 在这个阶段，模型学习一个共享的表示，能够捕捉不同模态之间的共同特征。4. **模态间解缠：** 在共享表示学习之后，进行模态间的解缠操作。5. **任务特定层：** 如果任务是特定的（如分类、生成等），添加任务特定的层或模块。6. **模型训练：** 使用预处理过的多模态数据集，以及共享表示和解缠操作，对整个模型进行训练。7. **模型评估：** 在独立的测试集上评估模型的性能。9. **应用：** 一旦满足预期的性能要求，可以将训练好的多模态深度学习模型应用于实际场景中。

原创 多模态入门

模态（Modality）是指一种语言学概念，用于描述说话人对某种语言表达的态度或语气。在语言学中，常见的模态包括实现可能性、必然性、推测性、建议性等。在英语中，常见的情态动词包括can、may、must、should、will等，它们可以表示说话人对某种语言表达的不同态度或语气，例如可能性、必要性、建议性、应该性等。模态也可以通过语气、修辞、语调等方式来表达。多模态是指不同的数据形式输入，可以是完全不同类型的数据，比如CT和MRI；也可以是不同参数下的CT，或者不同时期的图像，定义较为宽泛，重点理解把握。

原创 配置pytorch框架

这是磨人的小妖精教程网上都有，推荐土堆的b站视频，很详细这里就说一下需要注意的问题：1.显卡型号确定算力2.显卡驱动无脑升到最新3.cuda低于显卡对应的cuda版本4.下载采用镜像网站，要不你会体会到来自地狱的外网的速度哦，还有一点很重要，注意Python和pytorch版本的兼容性问题，网上有资料可以查。

原创 2022.12.11_找到合适的学习路径非常重要

开始学习机器学习数学基础和编程基础。