![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 92
宏辉
这个作者很懒,什么都没留下…
展开
-
【LLM】动手部署个人知识库助手
本次学习了本地部署个人知识库助手,掌握使用fastapi进行接口定义,提供后端接口服务能力。掌握使用embbing接口对文本进行向量化处理,随后使用chromadb保存向量数据。在文本预处理过程中有一点是值得我学习的:使用remove_urls() 函数过滤了 readme 文本中的一些网页链接以及过滤了可能引起大模型风控一些词汇。这样做的目的可以让部署的个人知识助手更加安全。在此延伸了对数据脱敏的思路,后续数据处理流程增加了处理数据安全问题这一维度。原创 2024-04-29 01:56:15 · 502 阅读 · 0 评论 -
【LLM】系统的评估与优化
本节学习了大模型的常见评估方法:人工评估、简单自动评估、大模型评估和混合评估,其中人工评估耗费人力成本高,且需要确定量化评估指标、从多个维度进行评估。简单自动评估通过构建客观题让LLM进行回答,并且用代码方式实现打分策略,因此实现完全自动化,从而实现了高效的验证。对于无法构建客观题的问题,可以通过计算答案相似度方法进行评分,具体实现原理:对生成问题采用人工构造标准答案并计算回答与标准答案相似度的方法来实现自动评估。原创 2024-04-27 04:48:24 · 631 阅读 · 0 评论 -
【LLM】搭建RAG
本节主要是实操内容,将前面三节所学的知识库、model api、langchain组合成一个RAG系统。简单入门了Streamlit框架,尝试发布了自己的第一个RAG应用。本次学习中发现Langchain居然有memory功能,上一节学习语义知识库时候想到了一个方案:将用户历史聊天记录处理成向量录入向量知识库中,在新的一轮对话中,用户输入新信息会先匹配向量数据库中最相似的K组对话。这个idea就是LangChain已经实现的VectorStore-backed Memory功能!!!原创 2024-04-25 02:16:22 · 375 阅读 · 0 评论 -
【LLM】向量知识库
在此列出一些公开的embeedding_model,Langchain原生支持加载embeedding_model,动手能力强的小伙伴可以根据文档动手实现一个embeedding api.文本嵌入模型 text-embedding-model本节了解了什么是向量、向量的生成、向量的存储和向量的应用,同时对比了向量数据库和常见非向量数据库的区别。动手设计了一个加载text2vec-large-chinese embedding model的api接口,并且将生成的向量录入到向量数据库中。原创 2024-04-23 04:35:06 · 925 阅读 · 0 评论 -
【LLM】LLM API 开发
主要了解了LLM中的基础知识,包括输入提示词prompt、temperature(模型输出的温度系数,控制输出的随机程度,取值范围是 0~1.0,且不能设置为 0。温度系数越低,输出内容越一致。)以及Prompt Engineering中常用的调优技术,如:写清晰的说明、给LLM充足的思考时间…,只要prompt写得好,LLM回答才会更快返回符合用户的答案。原创 2024-04-21 02:25:24 · 1061 阅读 · 0 评论 -
【LLM】认识LLM
大语言模型(LLM,Large Language Model),也称大型语言模型,是一种旨在理解和生成人类语言的人工智能模型。它们在大量的文本数据上进行训练,可以执行广泛的任务,包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大,包含数十亿的参数,帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构,如转化器,这有助于它们在各种NLP任务上取得令人印象深刻的表现。RAG(中文为检索增强生成, Retrieval-Augmented Generation) = 检索技术 + LLM 提示。原创 2024-04-18 02:59:47 · 702 阅读 · 0 评论