- 博客(5)
- 收藏
- 关注
RSS订阅原创 微调模型lora
用于配置 LoRA 微调的参数，包括秩、alpha 参数、dropout 率、目标模块、权重路径、偏置类型和是否使用 QLoRA。数据预处理函数，将输入文本转换为模型可以处理的格式，包括 tokenization 和 padding。用于配置训练参数，包括缓存目录、优化器、最大序列长度、是否使用 LoRA 和系统提示词。训练函数，加载模型和分词器，配置 LoRA 模型，创建 Trainer 并开始训练。模型合并函数，将微调后的 LoRA 模型与基础模型合并并卸载。监督数据集类，用于微调数据集的预处理。
2024-06-23 23:12:41
143
原创 TF-IDF加权的词频字典
泛化能力：这种方法无需依赖特定的停用词列表，可以自动适应不同领域和不同类型的文本，提高了方法的泛化能力。无论文本中包含何种词汇，公式都能有效调整其权重，计算出准确的相似度。高可靠性：通过自适应权重调整，公式能够可靠地处理不同文档中的高频词和低频词，避免了高频词对相似度计算的过度影响，提高了结果的可靠性。
2024-06-23 18:06:15
206
原创 问题分类部分
这段代码通过加载预训练的大语言模型，并结合上下文学习和简单的决策树方法，完成了对问题的分类任务。上下文学习通过提供示例问题和答案，帮助模型理解分类任务，而决策树方法则在模型生成响应的基础上，结合问题中的特定关键词（如公司名称）进行进一步的决策，从而提高分类的准确性。
2024-06-20 23:40:24
758
原创 项目的模型部署
这是我们在大模型项目中遇到的部署问题及解决过程。选择合适的算力资源：在选择算力资源时，考虑到显存需求和费用问题，选择最合适的平台。适应新平台：在新平台上操作时，多向客服咨询，合理使用数据盘和系统盘。正确下载和部署模型：注意下载路径，避免内存占用问题。通过这次经历，我们不仅完成了项目，还学到了很多关于算力平台使用和模型部署的知识。如果你也在进行类似的项目，希望这些经验能对你有所帮助。希望这篇博客内容能帮助其他面临类似问题的开发者。如果你有任何问题或建议，欢迎在评论区留言！
2024-05-29 20:09:48
397
原创 基于大语言模型的商业答疑系统
自定义的tokenizer这是我们在大模型项目中遇到的部署问题及解决过程，以及详细的模型使用和操作方法，包括如何使用tokenizer。选择合适的算力资源：在选择算力资源时，考虑到显存需求和费用问题，选择最合适的平台。适应新平台：在新平台上操作时，多向客服咨询，合理使用数据盘和系统盘。正确下载和部署模型：注意下载路径，避免内存占用问题。模型使用和微调：了解如何加载、生成文本、微调和评估模型。Tokenizer的使用：掌握文本编码、解码、处理批量数据和自定义配置等高级功能。
2024-04-07 14:44:46
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人