![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 82
jieshenai
这个作者很懒,什么都没留下…
展开
-
阿里云盘 PAI,免费三个月的GPU资源领取,适合缺卡的学生
白嫖阿里云人工智能平台PAI三个月 :上传的数据集、文件、Python 环境会一直存在,关机之后不会删除;原创 2024-04-22 13:28:01 · 608 阅读 · 0 评论 -
llama-factory SFT 系列教程 (四),lora sft 微调后,使用vllm加速推理
首先使用 llama-factory 微调,得到微调后的 lora 权重;由于 vllm 并没有支持所有的模型;故通用的方式是 将 lora 权重和大模型融合成新的大模型,再由 vllm 推理;在使用 alpaca 样式的数据集微调时,llama-factory 框架在训练时,会自动在prompt 添加 template。所以,在微调大模型后,使用vllm推理时,也要给 vllm 传入 封装好的template。原创 2024-04-20 21:56:05 · 4726 阅读 · 6 评论 -
大模型预测结果导入到Doccano,人工修正预测不准的数据
展示大模型预测输出的数据格式;展示Doccano 命名实体识别导入的数据集格式;提供将大模型输出数据转为Doccano 导入数据集格式代码;原创 2024-04-17 12:41:23 · 519 阅读 · 0 评论 -
llama-factory SFT系列教程 (三),chatglm3-6B 大模型命名实体识别实战
利用 llama-factory 框架,基于 chatglm3-6B 模型 做命名实体识别任务;原创 2024-04-12 23:42:04 · 2009 阅读 · 8 评论 -
llama-factory SFT系列教程 (二),大模型在自定义数据集 lora 训练与部署
本文为 llama-factory SFT系列教程的第二篇;实现了在自定义数据集上 lora 微调大模型;接着融合lora权重进行大模型推理的功能原创 2024-04-12 17:28:56 · 7637 阅读 · 7 评论 -
llama-factory SFT系列教程 (一),大模型 API 部署与使用
llama-factory 教程,实现大模型 api 部署;使用 llama_factory 的 API 部署有 vllm加速推理;原创 2024-04-11 22:40:59 · 6824 阅读 · 19 评论 -
vllm 本地大模型加速推理
使用 modelscope 的 chatglm3-6B,调用 vllm 加速推理,推理速度快很多;我的显卡显存为 24G;chatglm3-6B,如果不用vllm,我的显存不够,必须使用half才能放进显存;使用 vllm 后,vllm 加载的大模型模型权重占用空间会小一点;不使用half,恰好能放进我的显存空间;原创 2024-04-11 12:37:41 · 1294 阅读 · 4 评论 -
使用向量检索和rerank 在RAG数据集上实验评估hit_rate和mrr
使用 向量检索 和 rerank 在给定RAG评估数据集上的实验计算 hit_rate 和 mrr;对比了使用 rerank 和 不使用 rerank的实验结果;基于RAG评估数据集,构建nodes节点;构建自定义的检索器,在检索器中实现 向量检索和 rerank;原创 2024-04-06 22:16:17 · 1252 阅读 · 16 评论 -
大模型生成RAG评估数据集并计算hit_rate 和 mrr
本文使用大模型自动生成RAG 问答数据集。使用BM25关键词作为检索器,然后在问答数据集上评估该检索器的效果。输入是一篇文本,使用llamaindex加载该文本,使用prompt让大模型针对输入的文本生成提问。l利用 chatglm3-6B 构建CustomLLM;使用prompt和chatglm,结合文本生成对应的问题,构建RAG问答数据集;构建基于关键词的检索器;评估在数据集上的结果;原创 2024-04-05 17:53:27 · 1562 阅读 · 2 评论 -
llama-index 结合chatglm3-6B 利用RAG 基于文档智能问答
使用llama-index结合m3e、chatglm3-6B 基于RAG做智能问答原创 2024-03-28 10:44:16 · 1537 阅读 · 0 评论 -
本地qwen 大模型,基于FastAPI构建API接口使用
使用modelscope 下载千问7B模型,利用FastAPI部署成在线的API接口;使用history历史对话多轮问答数据,实现多轮对话;原创 2024-03-27 23:13:32 · 1774 阅读 · 4 评论 -
基于m3e编码模型的RAG 向量相似检索
使用m3e编码模型,利用modelscope下载模型权重。使用langchain的faiss API ,构建向量库,计算用户输入文本与向量库中文本的相似度。原创 2024-03-19 09:46:00 · 799 阅读 · 0 评论