Sarah ~

原创 accelerate 分布式框架

该框架包括 : DeepSpeed(三阶段：), FSDP, Megatron_LM 其中，Megatron_LM 集成了 TP（张量并行）、PP(流水线并行)、SP(序列并行)以及DP(数据并行)

原创 tensor fusion

原创 torch linear层更新参数

【代码】torch linear层更新参数。

原创 linux nvidia-smi失败（已测有效）

b. 如果未安装驱动，则可以使用默认的开源驱动或手动下载和安装Nvidia驱动。常用的方法包括使用Nvidia官方提供的安装程序、通过包管理器安装或使用闭源驱动。环境变量配置错误：如果安装了Nvidia驱动但仍然无法找到nvidia命令，可能是由于环境变量配置错误导致的。nvidia命令未包含在安装的软件包中：另一个可能的原因是nvidia命令未包含在您安装的软件包中。Nvidia驱动未安装：首先，要使用nvidia命令，需要在系统上安装Nvidia驱动程序。c. 完成安装后，尝试运行nvidia命令。

原创 conda更新清华源配置

【代码】conda更新清华源配置。

原创 Windows+wget

step1: 下载wget.exe ，链接：https://eternallybored.org/misc/wget/step2：将wget.exe移动到C:Windows/System32文件夹下。

原创 修改Ubuntu 22.04里面默认的源(已测有效)

【代码】修改Ubuntu 22.04里面默认的源(已测有效)

原创 mygene

ref：https://weiyan.cc/yuque/%E7%94%9F%E7%89%A9%E4%BF%A1%E6%81%AF/%E8%BD%AF%E4%BB%B6/2019-07-01-python-mygene/#mygeneinfo

原创 Convert Ensembl IDs to gene symbols python包

【代码】Convert Ensembl IDs to gene symbols python包。

原创 模型训练时，模型输出nan

在PyTorch中，梯度剪裁（Gradient Clipping）是一种常用的技巧，用于解决梯度爆炸问题。梯度剪裁可以限制梯度的大小，防止梯度变得过大而导致数值不稳定或模型性能下降。基于值的梯度剪裁通过将梯度的值限制在一定范围内来实现。PyTorch提供了torch.nn.utils.clip_grad_value_()函数来实现这一点。基于范数的梯度剪裁通过限制梯度的L2范数来实现。PyTorch提供了几种梯度剪裁的方法，包括基于范数的剪裁和基于值的剪裁。

原创 element 0 of tensors does not require grad and does not have a grad_fn

确保所有的张量都是相同的数据类型，并且适合进行梯度计算。例如，使用 float32 而不是 int32。检查你的操作是否支持自动求导。例如，一些整数类型的张量操作不支持自动求导。

原创 gene name to enter id

【代码】gene name to enter id。

原创 .tsv和.csv的区别和读取（python）

TSV (Tab-Separated Values): TSV 文件则使用制表符 \t 作为字段分隔符。相比CSV，TSV更适合于包含大量文本数据的表格，特别是当这些文本中可能包含逗号时，因为制表符在文本中出现的频率较低，能减少数据解析的歧义。CSV (Comma-Separated Values): CSV 文件使用逗号 , 作为字段（列）之间的分隔符。在Python中，读取这两种文件通常使用pandas库，因为它提供了简单且功能强大的数据处理接口。首先，确保你的环境中安装了pandas库。

原创 Integrated Gradients （Pytorch）refs

2)usage : https://blog.paperspace.com/model-interpretability-and-understanding-for-pytorch-using-captum/https://captum.ai/docs/extension/integrated_gradients3)https://github.com/TianhongDai/integrated-gradient-pytorch

原创 early-stopping pytorch refs

1)https://github.com/Bjarten/early-stopping-pytorch/blob/master/MNIST_Early_Stopping_example.ipynb2)https://machinelearningmastery.com/managing-a-pytorch-training-process-with-checkpoints-and-early-stopping/3)https://pytorch.org/ignite/generated/ignite.h

原创 t-sne with labels

【代码】t-sne with labels。

原创 两种传参方式

python传参

原创 时序模型综述论文

时序模型综述论文：

原创 .pkl文件保存和读取

【代码】.pkl文件保存和读取。

原创 epoch的数据不能随便截取，不是特征，要根据时间！！！

长个记性，这半个多月像个笑话，哈哈哈哈。

原创 pytorch create your dataset

【代码】pytorch create your dataset。

原创 pytorch cpu to gpu示例

【代码】pytorch cpu to gpu示例。

原创 torchdata pytorch2.3 报错

报错：cannot import name ‘DILL_AVAILABLE’ from ‘torch.utils.data.datapipes.utils.common’

原创 多进程简单示例

【代码】多进程简单示例。

原创 A40环境配置相关版本信息

原创 psytoolkit online

7.再次实验删除data。3.在问卷中嵌入实验。4.生成在线测试链接。

原创 环境配置踩坑系列

not find the module XXX—>python3 -m pip install XXXX

原创 服务器批量复制文件夹

1.首先通过python 生成批量命令。

原创 mne-hcp

3 说明：由于mne-hcp后期无人维护，导致过高的mne版本可能无法直接适用，因此根据自己使用的mne更改对应的报错函数名称即可。

原创 nas 使用

原创 tvb配置

添加：-i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn。

原创 读取meg的.mat文件

import mneprint()

原创 读取ANT的.cnt文件（EEG）

ANT的.cnt读取

原创 mne自动配准得到trans文件

https://mne.tools/dev/auto_tutorials/forward/25_automated_coreg.html#sphx-glr-auto-tutorials-forward-25-automated-coreg-py

原创 Creating MNE-Python data structures from scratch

mat 转.fif。

原创 InfoNCE loss

InfoNCE loss的目标是最大化正样本之间的相似性得分，同时最小化负样本之间的相似性得分，从而促使模型学习到有意义的特征表示。通过优化InfoNCE loss，模型可以学习到对数据进行有效编码的特征表示，适用于自监督学习任务中的特征学习和表示学习。全称是"InfoNCE: Contrastive Estimation of Neural Entropy"，基于对比学习的思想，旨在最大化正样本的相似性，同时最小化负样本的相似性。Σ j≠i 表示对所有其他负样本的求和。exp() 表示指数函数。

原创 层归一化Layer Normalization

层归一化（Layer Normalization）是一种神经网络中常用的归一化技朧，用于在训练过程中加速收敛、稳定训练，并提高模型的泛化能力。与批归一化（Batch Normalization）类似，层归一化是一种归一化技朧，但是它是对每个样本的特征进行归一化，而不是对整个批次的特征进行归一化。其中，x是输入的特征向量，μ是特征向量的均值，σ是特征向量的标准差，γ和β是学习的缩放系数和平移系数，ϵ是一个很小的数用于稳定计算。每个样本的特征都被独立归一化，不受批次大小影响。

原创 大脑图谱-------

链接：https://www.lead-dbs.org/helpsupport/knowledge-base/atlasesresources/cortical-atlas-parcellations-mni-space/

原创 macOS 安装brew

https://mirrors4.tuna.tsinghua.edu.cn/help/homebrew/https://www.yii666.com/blog/429332.html

原创 每个epoch的溯源（MNE）

【代码】每个epoch的溯源（MNE）