小知的博客

与你的结构化数据聊天：支持主流数据库、表格型excel等数据！

与你的结构化数据聊天：支持主流数据库、表格型excel等数据！ChatDB：支持数据库问答ChatTable：支持等表格的问答。

使用大模型针对长文本进行摘要提取：支持短文本、长文本摘要提取。单个文本摘要提取：summary批量文本摘要提取：batch_summary。

与全参数微调不同，LoRA和Q-LoRA的训练只需存储adapter部分的参数。使用LoRA训练后的模型，可以选择先合并并存储模型（LoRA支持合并，Q-LoRA不支持），再用常规方式读取你的新模型。一般会缓存到你的C盘或用户空间，所以要根据自己情况查看模型。也可以通过下面日志查看模型所在位置，如。使用微调后且合并的模型进行本地部署。阿里魔搭社区notebook的。觉得不错，点个star噢。里：下载模型会缓存在。克隆Qwen项目，调用。文件进行配置与微调。

日期：2023-12-6PyLMKit目前集成了LLMAPI。

向量数据库无疑是今年的大热点，因为RAG或者说基于本地知识库的垂直领域知识问答，这种低成本且可行的技术方案在今年特别爆火，而向量数据库作为一种能存储向量和检索相似文档中起着重要作用。角色模板决定大语言模型回答的质量，因此角色模板需要反复打磨，以设计一个高质量的角色模板，对问题的解决效果可以达到事半功倍。另外，值得注意的是，不同词向量模型的准确性不一，因此也要选择合适的词向量模型才能发挥更大的作用。另外，值得注意的是，如果你设计的角色模板的关键词，不在。应用哪个大模型，就提前设置好该大模型对应的。

向量数据库无疑是今年的大热点，因为RAG或者说基于本地知识库的垂直领域知识问答，这种低成本且可行的技术方案在今年特别爆火，而向量数据库作为一种能存储向量和检索相似文档中起着重要作用。角色模板决定大语言模型回答的质量，因此角色模板需要反复打磨，以设计一个高质量的角色模板，对问题的解决效果可以达到事半功倍。另外，值得注意的是，不同词向量模型的准确性不一，因此也要选择合适的词向量模型才能发挥更大的作用。另外，值得注意的是，如果你设计的角色模板的关键词，不在。应用哪个大模型，就提前设置好该大模型对应的。

记忆功能，使得大语言模型能到根据该历史记忆记住上下文内容，以便连贯回答用户的问题。(更多关于记忆的用法，可以在后续memory专题中查阅)角色模板决定大语言模型回答的质量，因此角色模板需要反复打磨，以设计一个高质量的角色模板，对问题的解决效果可以达到事半功倍。RolePlay角色扮演是一种基础功能，也是重要的功能。等这些功能的底层逻辑是基于角色扮演中设置不同的角色模板实现的。另外，值得注意的是，如果你设计的角色模板的关键词，不在。应用哪个大模型，就提前设置好该大模型对应的。导入大语言模型，在本案例中使用。

该算法返回两个值:“response”和“reference”。“response”表示返回的内容，“reference”表示引用信息，例如使用搜索引擎时对网页的引用。加载.env文件的方法如下（建议将.env文件放置在与您运行的.py文件相同的路径下）。在与main.py相同目录的终端命令行中，输入。用户可根据自身情况调整角色模板。表示上下文记忆的位置，表示搜索引擎的内容，表示用户输入的问题。

**pylmkit** 是一个旨在构建或集成具有实用价值的大模型（LM）应用程序的项目，旨在帮助用户快速构建符合其业务需求的应用程序。