DeepLearning
文章平均质量分 82
静待梅花开
一碟小菜
展开
-
deepspeed训练微调脚本
deepspeed训练微调脚本原创 2024-02-06 10:39:42 · 799 阅读 · 0 评论 -
让AI帮你说话--GPT-SoVITS教程
让AI帮你说话--GPT-SoVITS模型合成自己声音原创 2024-01-28 20:34:07 · 7074 阅读 · 3 评论 -
llama.cpp部署通义千问Qwen-14B
llama.cpp部署通义千问原创 2023-12-03 22:39:48 · 5331 阅读 · 14 评论 -
对正则化的理解
在训练模型的时候,可能会遇到网络过拟合的问题,解决这个问题主要的方法有数据增强、Dropout、DropConnect、早停、以及正则化,这里记录一下常见的正则化方法及其特点。L1正则化L1正则化就是在原本的损失函数L0的基础上,加上模型参数的1范数的和与参数量n的比值,如下:对L1正则化后的损失函数进行优化会令模型参数wi趋向于0,产生稀疏解,相当于减小了网络复杂度,具有一定的特征选择能力。L2正则化L2正则化就是在原来的损失函数L0后面加上网络权重的2范数与权重数量n的一个比值,这里λ通常取原创 2022-01-05 12:25:56 · 1310 阅读 · 0 评论 -
上手Pytorch分布式训练DDP
DDP单机单卡"""train_single_gpu.py Adapted from https://github.com/wmpscc/CNN-Series-Getting-Started-and-PyTorch-Implementation"""import torchimport torchvision.transforms as transformsimport argparsefrom torch import nn, optimfrom torch.nn import fun原创 2021-11-06 22:52:20 · 1253 阅读 · 4 评论 -
分布式训练DDP的那些坑
DistributedDataParallel(DDP)是个好东西,对小白来说就是坑有点多。原创 2021-02-05 22:37:58 · 2204 阅读 · 2 评论 -
踩坑记:RuntimeError: CUDA error: device-side assert triggered
GAT分类的时候,遇到RuntimeError: CUDA error: device-side assert triggered原因是数据的类别和num_classes不一致造成的。比如我的数据总共有10类,但是类别数是从1-10,而一般的分类程序是从0-9,所以会出现这个问题,将数据类别改成从0开始就好。...原创 2020-06-28 16:54:33 · 7278 阅读 · 2 评论 -
目标检测--RFBNet训练自己制作数据集出现loss=nan问题的解决方法
之前用RFBNet进行目标检测,采用的数据集是VOC2007和VOC2012。最近用在自己的数据集进行训练,由于我的数据集格式跟VOC格式不一样,根据网上的经验,我就开始将自己的数据集制作成VOC格式的方便训练。但自己的数据集和标准的数据集质量真心不能比,有很多问题,花费了好多时间在数据处理上。。。我遇到的问题主要是数据集的问题,而RFBNet是基于SSD的,所以SSD的如果出现这个问题大概率是...原创 2020-05-04 13:03:37 · 1634 阅读 · 1 评论 -
目标检测--RFBNet环境配置、训练及验证 (血和泪的教训)
关于RFBNet论文地址训练及遇到问题测试结果参考官方代码https://github.com/ruinmessi/RFBNet/issues/13https://blog.csdn.net/wyy13273181006/article/details/103484799?depth_1-utm_source=distribute.pc_relevant.none-task-blog...原创 2020-04-08 14:13:58 · 1831 阅读 · 6 评论 -
Win10+MX250+CUDA10.1+cuDNN+Pytorch1.4安装+测试全过程(吐血)
最近疫情很严重,很多地方不让出门,很多人也都害怕被传染,包括我,咱一学生也出不了太多力,老老实实在家呆着不添乱就是最好的贡献。但是在家呆着实在无聊,学校又延迟开学,想在家做一些深度学习项目练练手(新手上路,大神勿喷哈哈哈),但是无法连上学校实验室服务器,笔记本CPU跑个demo都费劲。我这一想,笔记本不是还有个鸡肋的MX250吗?很好奇MX250和CPU哪个跑更快一点?于是乎就开始了一波操作。。。...原创 2020-02-03 11:57:29 · 33925 阅读 · 71 评论 -
PyTorch踩坑记
pytorch使用常见的问题nn.BatchNorm2d()的问题https://blog.csdn.net/LoseInVain/article/details/86476010很详细地介绍了该方法和可能遇到的坑,先MARK学习学习!奥力给!!!...转载 2020-01-23 15:19:33 · 228 阅读 · 0 评论 -
NeuralNetwork And Deep Learning 实验操作Chapter3
实验环境Python3.6 shell步骤shell中FIle->open找到mnist_loader.py,打开。之后,run->run moudle,在shell中会出现如下文字交叉熵实验输入如下命令运行结果最优结果为9568/10000,比二次代价函数要好。over fitting选择training_data的前1000张,Epoch=400输...原创 2018-12-19 13:51:12 · 165 阅读 · 3 评论 -
NeuralNetwork And Deep Learning 实验操作Chapter 1
- Using neural nets to recognize handwritten digits本人新手,最近开始学习Michael Nielsen 的NeuralNetwork And Deep Learning跟着作者一步一步动手操作,以加深理解。原文是英文,但网上已有许多翻译博文,在下水平有限就不再班门弄斧,仅仅贴上自己动手实验的结果分享给大家,为自己的学习留下一些经历。实验环境...原创 2018-12-08 16:24:20 · 175 阅读 · 0 评论