- 博客(2)
- 收藏
- 关注
原创 从huggingface上自动下载所需要的nlp模型,再也不用手动下载了
在做nlp任务时,很多时候我们需要把模型下载到本地,然后在代码中指定路径去加载。遇到这种情况,我之前都是去huggingface上手动下载,一个一个点,感觉非常的麻烦。于是想办法能不能有个自动化下载的方法,查阅了很多发现都不怎么有用。于是问了chatgpt,有了答案。
2023-07-20 14:14:07 289 1
原创 模型训练时维护checkpoints文件夹的数量
在训练模型时,要每隔一定步数 要验证一次,如果验证指标更好了,则要保存对应的checkpoints。但在实际模型训练过程中,我们不仅需要保存对应的checkpoint,还要删除最开始不用的那些checkpoints文件。
2023-05-26 10:56:26 491
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人