- 博客(7)
- 收藏
- 关注
原创 确认训练模型的时候到底需要用多少数据量 以提高训练速度
原因是之前用的数据集太大(20000张)了, 训练一个epoch需要接近半个小时的时间。而现在的数据集(5000张),一会就训练了, 害的我觉得之前一周的工作似乎是白干。之后训练之前, 务必确认训练模型的时候到底需要用多少数据量。不开心, 一周前, 我花两天时间训练的模型, 做到的实验量 实验效果,被我刚刚花两个小时 重新训练的模型超越了。可以多尝试,先试小的数据集。
2024-12-04 12:40:56
371
原创 解决pip: cannot execute: required file not found
本来觉得这种系统环境变量问题, 只能通过修改环境变量和系统路径的方式来解决。尝试用vim进入系统文件,但是效果不好。没想到可以通过重新下载文件, 让程序自动配置环境变量。这样很方便。办法:下载 get-pip.py 脚本并运行它来安装 pip:1.下载 get-pip.py 脚本:wget https://bootstrap.pypa.io/get-pip.py2.运行 get-pip.py 脚本:python get-pip.py3.验证pip安装pip --vers
2024-11-22 18:16:45
886
原创 解决 safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge
A: 重新下载原始文件,或者, 让GPU的存储和计算资源更充足。
2024-06-04 10:22:47
1581
2
原创 总结程序debug的个人血泪经验
确定该行是否是自己程序必须要的可以不需要 那就注释掉,不过后面的代码行 可能以这一行代码为前置条件(这种情况可能考虑后续的代码也一并处理了)如果需要的话, 判断错误来自哪里,然后从源头解决问题(可能要深入到包的底层代码,即设置justmycode=false)首先从代码本身对问题的作用来判断是否出错然后从代码本身语法逻辑上判断是否出错然后从代码需要的包以及相关的包是否存在版本不匹配的角度来分析。
2024-06-03 18:13:29
244
原创 conda install 了 git-lfs, git lfs pull的下载进度为0, 解决办法如下
在目标文件夹执行报错中指定的命令,这个时候 git lfs pull的下载进度为0, 这种情况怎么办?A: 只需要把不完整的文件手动下载完成。比如使用wget命令逐个文件进行下载。然后conda install 了 git-lfs,Q: 程序出现了git-lfs相关的错误。
2024-06-03 16:28:37
935
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人