- 博客(306)
- 资源 (8)
- 收藏
- 关注
原创 丝滑切换多个LoRA权重(LoRA加载与卸载方法)
对于 LoRA 方法特别说明:要合并并卸载当前激活的适配器,以便 LoRA 的权重被添加到基础模型的权重中,并移除注入的模型以恢复基础的 transformers 模型(同时保留添加的 LoRA 权重),请使用。
2024-08-18 23:16:38 209
原创 使用MinHash和LSH进行大规模文本数据去重
假设我们有一组包含简单中文文本的数据。我们首先对每条文本进行分词,然后计算每条文本的MinHash值,并使用LSH将这些值插入到一个可查询的结构中。最后,我们查询每个文本的MinHash,找出所有相似的文本。这种方法特别适合处理语义上相似的文本,而不仅仅是字面上完全相同的文本。在这个例子中:文档0和文档3非常相似,因为它们都描述了“今天天气好,适合出去玩”的情景,尽管用词略有不同。文档2和文档4虽然都提到了“明天有雨”,但用词和句式的不同可能使得它们的相似度低于阈值。
2024-08-08 14:14:56 657
原创 LLM 预训练监督微调阶段 tricks
🌟LLM的预训练tricks使用“base”模型进行继续预训练(而不是“chat”模型),“base”模型的能力是最好的,因为还没有进行人类价值观的对齐训练。缩放定律(Scaling law)是非常重要的,Scaling law不仅适用于LLM的预训练,也适用于有监督微调阶段的训练。对于预训练过程的超参数设置(Batch size / 学习率)应当参考来自其他论文或者先前工作的一些设置。继续预训练需要百万,千万甚至上亿的tokens训练语料,过少的训练语料不支持进行预训练工作。多阶段的继续预训练
2024-08-08 09:46:41 377
原创 PEFT配置文件LoraConfig中的target_modules参数详解
如果我们采用的是未在实现定义的大语言模型列表内,因此必须手动显示指定。如果你本地安装了pdft安装包,则可以在以下位置看到。针对了部分预制的大语言模型,定义了默认的。
2024-08-07 18:28:22 293
原创 将扩充的中文 tokenizer 模型应用于自己的LLM模型上(embedding参数修改)
在中我们详细讲述了如何基于自己的数据对tokennizer模型进行训练调整。在本文中,我们将继续讲述基于SentencePiece扩充LLaMa的词表,但是扩充了词表后的下一步该怎么操作呢?如何将新增的token在模型的embedding层和lm_head层初始化呢?
2024-08-06 21:44:11 417
原创 手把手带你了解和实践扩充 LLaMA 大语言模型的 tokenizer 模型(实现中文token过程)
开始训练,这里面有几个参数要注意一下,model_type分词算法选择bpe,split_digits为True,byte_fallback为True,和LLaMa 保持一致,max_sentence_length设置的大一点,更多参数解释可以查看:https://zhuanlan.zhihu.com/p/655281268 和 https://zhuanlan.zhihu.com/p/639144223。目前,大语言模型呈爆发式的增长,其中,基于llama家族的模型占据了半壁江山。
2024-08-06 21:40:02 611
原创 Transformer 理论与代码实践,一步一步详细剖析
在现在的大模型时代,核心还得是Transformer,Transformer是由谷歌于2017年提出,最初用于机器翻译的神经网络模型,在此衍生出了一系列的模型,BERT、T5、GPT、GLM、BLOOM、LLaMa等等从小模型到大模型都少不了他。Transformer最经典的模型结构图还得是论文中原汁原味的图关于这张图的讲解在其他的回答中有很多,简单总结下,左边是编码器(Encoder),右边是解码器(Decoder),N× 表示进行了 N 次堆叠。接下来分别对每个模块进行简述以及代码实现。
2024-08-06 21:35:12 1160
原创 使用Ollama从头构建Embedding和RAG系统
检索增强生成(RAG)赋予大型语言模型新的能力,使其能够与任何大小的文档或数据集进行互动。接下来,请跟随我一起了解如何解析和操作文档,探讨如何利用嵌入向量来描述抽象概念,实现一种简单而强大的方法,以找出文档中与特定查询最相关的部分,并最终构建一个脚本,使本地托管的大型语言模型能够处理您自己的文档。
2024-04-05 15:33:23 5233
原创 【大语言模型】Ollama使用指北
Ollama 默认提供 OpenAI 的兼容 API,默认端口是 11434,默认模型名是 run 后面使用的模型名,如果想使用 OpenAI 的模型名,可以通过ollama cp的方式,为模型起一个临时的名称。
2024-02-26 20:34:22 2705 1
原创 ArXiv论文上传与发表的问题解决记录
在使用Latex编辑论文参考文献部分时,一般在百度谷歌学术上只能够获取到BibTex格式(bib),而有些期刊会议需要提供BibItem格式(bbl)。根据查看到的资料,详细描述一种批量将bib格式文件转为bbl文件,而bbl文件中的内容即为BibItem格式。
2023-07-17 17:50:56 675
原创 在具体领域中微调LLM模型的方案实施建议
大参数的模型比高精度的模型要好;模型的预训练虽然会付出极高的代价,但是效果也会提升比较明显;强化学习在一般的微调任务中很有必要加入;适当的在数据中引入历史对话可能有一定的提升效果;
2023-06-02 19:17:27 1335 1
原创 Huggingface上传自己的预训练模型(大小权重都可以)
第一次上传可能出现让你输入账号密码,只需要按照要求输入即可。这里需要先到网站页面上进行设置然后复制过来进行登录。克隆来以后就可以把需要上传的文件放入到这个下载的。命令进行登录,登录过程中需要输入用户的。如果你想要手动创建,则可以直接在。就可以跳过这一步了。这个时候如果你发现你。
2023-05-26 18:22:11 2807 1
原创 给静态博客设置一个访客地图
最近看见一个很酷的东西,也就可以在自己的博客中添加访问地图,让访问者可以浏览到自己的博客的访客都来自什么地方,网关的地址为:需要使用,首先需要进行登录,但是登录过程中有些麻烦,很有可能会出现网站访问不到的情况,要是出现这样的情况需要根据自己的实际情况确定自己的“上网方式”,申请完账号之后,填写自己网站的访问域名:。
2023-04-01 10:38:12 387 2
原创 Meta的LLama模型非官方下载方法
Llama模型是一个用于自然语言处理的大型语言模型,它由Meta AI开发,拥有65亿个参数。该模型的目的是帮助研究者在AI的子领域中推进他们的工作。Llama模型结构巨大,最小的模型LLaMA 7B也经过了超过1万亿个代币的训练。Llama模型的论文比较冗长,但通过阅读页面,可以了解该模型的下载方法和使用指南。除此之外,Llama模型的表现被认为比OpenAI的ChatGPT更优秀,部署教程和泄露版模型已经都被公开。
2023-03-29 09:10:47 12587 7
原创 centos7 安装 python3.9
登陆账户(root账户或者拥有 sudo 权限的账户)使用 wget 下载 python3.9。使用 tar 解压压缩包。配置 python 安装。
2023-03-22 18:27:28 779
原创 完成向Git项目提交一次Pull requests的流程
prGithubforkpr4. 进行更改并提交,执行git status, 查看变更5. 执行git add命令,将这些变更加入到刚刚创建的分支git add .6. 使用git commit提交这些变更7. 把变更推送到8. 创建拉取请求,在GitHub仓库中可以看到一个按钮,点击它请提供必要的说明来介绍你所做的变更(可以使用“#”来引用议题)。提交拉取请求。恭喜!你已经成功创建了第一个拉取请求。
2023-03-14 13:27:03 550
原创 为YOLOv5、YOLOv8带来全新的数据增强方式-合成雾增强算法
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-03-10 22:39:27 6823 8
原创 PyTorch保存和加载模型的两种方式
与Tensorflow、Keras等框架一样,Pytorch也提供了两种保存模型的方式:只保存模型参数保存完整模型。
2023-02-13 23:46:00 335
原创 【深度学习】如何分配训练集、验证集、测试集比例
对于传统机器学习阶段(数据集在万这个数量级),一般分配比例为训练集和测试集的比例为7:3或是8:2。为了进一步降低信息泄露同时更准确的反应模型的效能,更为常见的划分比例是训练集、验证集、测试的比例为6:2:2。对于小规模样本集(几万量级),常用的分配比例是 60% 训练集、20% 验证集、20% 测试集。
2023-02-13 23:38:37 7440 2
原创 YOLOv5改进之替换Backbone为mobilenet v2
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 13:08:20 1375
原创 YOLOv5改进之替换Backbone为efficientnet b1
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 13:05:51 536
原创 YOLOv5改进之替换Backbone为EfficientNetV2 Small
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 13:01:47 1861 3
原创 YOLOv5改进之替换Backbone为ResNet50
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 12:59:02 4755 7
原创 YOLOv5改进之替换Backbone为ResNet34
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 12:55:59 788
原创 YOLOv5改进之替换Backbone为ResNet18
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 12:54:01 2082 3
原创 YOLOv5改进之替换Backbone为RegNety 400mf
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 12:50:43 401
原创 YOLOv5改进之替换Backbone为EfficientNet B0
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 12:47:08 926 1
原创 YOLOv5改进之替换Backbone为MobileNetV3 Small
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库,该库将始终秉持以落地应用为导向,以轻便化使用为宗旨,简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法,同时也将逐渐开源更多YOLOv5应用程序。
2023-01-29 12:21:50 1945 2
原创 人工智能、机器学习、深度学习相关术语表
适用于[License](https://github.com/microsoft/AI-System/blob/main/LICENSE)版权许可。
2023-01-16 10:18:05 374
YOLOv5微信小程序源代码(可根据任务自己定制修改)
2024-08-08
《GPT 学术优化 (GPT Academic)》源代码
2024-08-08
针对任何任务微调特定 SAM 模型 - 代码
2024-08-08
BestYOLO:以科研和竞赛为导向的最好的YOLO实践框架!
2024-08-08
《CareGPT (关怀GPT)医疗大语言模型》
2024-08-08
《ChatGenTitle:使用百万arXiv论文信息在LLaMA模型上进行微调的论文题目生成模型》源代码
2024-08-06
《XrayGLM:首个会看胸部X光片的中文多模态医学大模型》源代码
2024-08-06
《基于Sentence-BERT训练自己的文本相似度模型》源代码
2024-08-06
《U-Net: 使用 PyTorch 进行语义分割》源代码
2024-08-06
机器学习/深度学习500问
2023-03-27
高端上档次引导页HTML源码
2023-03-27
机器学习、深度学习画图PPT模板
2023-03-27
目标检测跌倒检测数据集
2022-11-13
十种林业害虫数据集,采取VOC格式标注,可用于目标前检测模型训练
2022-07-13
动态透明调调的交互式个人主页HTML源码
2022-07-13
基于百度EasyDL图像分类的通用微信小程序
2022-07-13
手工采集的斑马线与人行道标注数据集,可用于YOLOv5等目标检测任务的训练
2022-07-13
可用于深度学习或者图像处理研究的农作物病虫害数据集
2022-07-13
YOLOv5快速训练助手
2022-06-08
可用于深度学习训练的烟雾火灾数据集
2022-06-02
Labelimg中文版
2022-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人