机器学习/深度学习
文章平均质量分 67
机器学习/深度学习
薄荷你玩_
薄荷分享 bhshare
展开
-
【踩坑笔记】Pytorch 训练好模型,预测时使用不同的 batch 出来的结果不一样
训练好模型后,单个样本预测的结果,和多个样本批量预测的结果不一样,有时候差异较小,有时候差异较大。 `torch.nn.utils.rnn.pad_sequence` 会根据样本的最大长度自动添加填充数据来统一数据维度。如果每次测试输入的样本最大长度不一样,填充的长度也会不同,导致最终的计算结果不一样。原创 2023-08-15 11:01:37 · 1062 阅读 · 3 评论 -
基于OpenAI(ChatGPT)进行模型微调的详细步骤
准备好自己的数据,可以利用 openai 的工具快捷将数据处理成上述的 JSONL 的格式。处理完成后,会在数据目录下生成一个jsonl的文件,就是OpenAI微调需要的格式文件了。PS:如果开启加速代理后终端内仍然无法访问OpenAI,可以在终端里设置下代理。,直接装的话可能会出现后续在 终端里输入 openai指令的时候提示。微调完后,可以通过返回的模型名进行调用了,调用方式和。等待一定的时间后,微调完成会返回微调好的。原创 2023-06-16 14:20:22 · 3240 阅读 · 7 评论 -
NLP相关知识点(慢慢更新)
GBDT梯度提升迭代决策树。GBDT是Boosting算法的一种,但是和AdaBoost算法不同。AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值,然后一轮一轮的迭代;GBDT也是迭代,但是GBDT要求弱学习器必须是 分类回归树(CART)模型,而且GBDT在模型训练的时候,是要求模型预测的样本损失尽可能的小。GBDT 直观理解:每一轮预测和实际值有残差,下一轮根据残差再进行预测,最后将所有预测相加,就是结果。XGBoost本身就是GBDT算法,它是在GBDT。原创 2023-04-21 21:58:15 · 575 阅读 · 0 评论 -
Pytorch BrokenPipeError: [Errno 32] Broken pipe 报错解决
Error loading “F:\anaconda3\envs\xxx\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll” or one of its dependencies.数据集较小时(小于2W)建议num_works不用管默认就行,因为用了反而比没用慢。该参数是指在进行数据集加载时,启用的线程数目。的话表示数据集加载在主进程中进行,大于。表示通过多个进程来提升数据集加载速度。Windows下多线程的问题,和。原创 2022-11-15 15:12:27 · 4889 阅读 · 0 评论 -
torch-scatter、torch-sparse、torch-cluster、torch-spline-conv安装失败问题解决
比如使用 安装torch_scatter会失败。网上有的解决方法说是,在后面加上 -f https://pytorch-geometric.com/whl/torch-1.x.x.html ,但是试了还是失败(网址上的对应的是安装的torch版本,需手动替换成自己的版本)#####2. 找到和本地环境对应的scatter/sparse/cluster/spline-conv版本文件名主要分为五段式:1:包名;2:版本;3:cuda版本,如cuda10.1可以选择cu101;4:python版本,原创 2022-06-13 14:29:42 · 1672 阅读 · 3 评论 -
MathType里如何打出损失函数L符号,以及其他特殊字母
方法:复制下方指令,粘贴到mathtype里即可。\mathcal{L}注意:1、只能复制粘贴文本,自行输入无效。里面字母L是可以修改的,比如改成 \mathcal{A}效果:2、建议在粘贴前先在公式里随便打几个字母,因为粘贴指令后会改变当前位置的格式,如果紧接这个符号输入的话可能会出现键盘输入的内容为空白字符的情况。这时候可以把光标移到后面一点的位置,只要不是紧挨着这个指令符号就可以正常输入了。...原创 2022-04-22 15:25:21 · 11429 阅读 · 2 评论 -
图形验证码识别接口(免费)
一、效果演示:http://www.bhshare.cn/imgcode/demo.html本地图片识别网络图片识别二、免费api接口接口地址:http://www.bhshare.cn/imgcode/请求类型:post接口参数:参数名类型是否必需备注tokenString是用户标识(token 免费获取:http://www.bhshare.cn/imgcode/gettoken)typeString是识别类型。”online“:网络图片识原创 2021-10-24 15:44:23 · 11388 阅读 · 9 评论