- 博客(14)
- 收藏
- 关注
RSS订阅原创 解决flash-attention报错：flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol
2.查看python，torch cuda，nvcc版本：python -V, pip show torch, nvidia-smi, nvcc -V。1.卸载现有的flash-attention： pip uninstall flash-attention。）官网下载,版本对应的flash-attention报即可使用；解决方案，从flash-attention（
2025-05-15 11:36:16
272
原创 Huggingface transformers 国内镜像自动下载模型
【代码】Huggingface transformers 镜像使用国内下载。
2025-05-15 11:08:16
283
原创 非root解决libpng12.so.0: canont open shared object file: No such file or directoryOSError
在模型训练时，Ubuntu20.0.4或许因缺少linpng12.so.0包会报错，没法进行训练，如果是root用户那好说，直接sudo apt-get install libpng12-0 即可安装对应的包。然后将把下面的两个export xxx 写入到.bashrc中，source .bashrc即可使用。从某盘下载libpng12.so.0, 将把它放在任意路径(也可以放在conda环境里的lib里)(如第一种方案不好使)
2025-05-08 16:51:09
189
原创 ffmpeg 批量转mp3成wav格式(linux, ffmpeg, shell)
通常ASR模型训练之前需要做数据预处理，如果原始数据不是wav，需要将把原始数据转成wav之后才能进一步做处理(一般都用wav格式的音频)；其中，-ac 是输出通道数，-ar是采样率，-ab比特率，-i是输入数据，
2025-04-06 15:48:58
203
原创 find、awk、sed、paste结合使用生成wav.scp, text训练数据
假设my_asr_data目录下含有xxxxx.wav和xxxxx.txt时,生成对应的wav.scp和text。
2025-03-31 09:16:17
131
原创 unzip中文乱码解决方案
unzip -O GB18030 待解压.zip。unzip -O CP936 待解压.zip。unzip -O GBK 待解压.zip。
2025-03-25 14:18:19
108
原创 linux 中批量改名rename, mv, sed
linux 操作系统一般都带该命令，若遇到command not found, 便可以无脑apt-get install rename or yum install rename 既可以安装工具包可以使用。用循环遍历所有待改名的文件，随后用mv命令改名，第一种：rename。
2025-03-24 10:04:42
217
原创 GPUs显存清理，再无out of memory；
第三种方法是在前面两种方法无关用的情况下，再可以使用 ，用ps -aux 命令查看PID 逐步kill 所有与训练相关的进程；nvidia-smi，然后kill -9 [pid];假设PID 为234573， kill -9 234573。如果，PID是连续的数字，如： 234573,234574, 234575, 234576, 234577,可以批量杀死进程， kill -9 23457{3..7}这个方法无需查看，无需一个一个的杀死PID。先查看gpu 显存PID，
2025-03-18 10:15:05
357
原创 模型训练之后台训练方法，python、shell，nohup、tmux；
在日常模型训练时都习惯在终端直接bash run.sh训练模型，这是最直接也最简单的方法；但有时候各种原因需要关机操作机，又或者无法避免 ssh工具吊针(xshell),所以训练到一半的模型不得不重新开始训练，相当浪费时间；使用方法，与shell脚本结合，将日志输出到test.log中，可以使用tail -fn 10 test.log 动态查看日志(打印最后10行日志)；就会进入mysession的后台，从而可以进行正常训练 ./run.sh，无需再用nohup；
2025-03-18 09:28:42
271
原创 解决Pytorch显存碎片化导致的CUDA:Out Of Memory问题
os.environ['PYTORCH_CUDA_ALLOC_CONF]='max_split_size_mb:128',其中128可以按照本机现有的GPU显存的大小来确定(调大调小)在PyTorch中，使用torch.cuda.empty_cache().来清理GPU内存缓存，虽然这不会释放GPU中被PyTorch占用的内存，但可以减少PyTorch内存的碎片。每次forward()之后添加 ：torch.cuda.empty_cache()
2025-03-17 17:06:40
1110
原创 解决wget报错：ERROR 403: Forbidden.
在linux上wget 下载时会遇到，web服务器会回答你“ERROR403: Forbidden”的情况；在浏览器中下载正常，但是将把浏览器中的下载地址用wget下载时，也会遇到下载无效的response;wget -c '下载链接'；在linux终端把下载链接用单引号括起来即可下载；给web服务指定浏览器代理。
2025-03-17 14:58:05
767
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人