大模型
苍墨穹天
长路漫漫,唯代码与吾长伴
展开
-
LLaMA-Factory训练数据集
dataset_info.json 包含了所有经过预处理的 本地数据集 以及 在线数据集。如果您希望使用自定义数据集,请 务必 在 dataset_info.json 文件中添加对数据集及其内容的描述,并通过修改 dataset: 数据集名称 配置来使用数据集。原创 2024-09-22 21:01:17 · 767 阅读 · 0 评论 -
基于milvus数据库的RAG-Demo
2.将问题向量化并搜索,拼接prompt,使用Agent(代理)1.上传文本并将文本向量化。原创 2024-09-19 15:28:27 · 555 阅读 · 0 评论 -
langchain-输出解析器,链式调用
输出解析器StrOutputParser。链式调用+异步asyncio。同样的代码,链式调用。原创 2024-09-13 17:17:11 · 298 阅读 · 0 评论 -
langchain基础(3)-chain
chain 1 任务:翻译成中文first_prompt = ChatPromptTemplate.from_template("把下面内容翻译成中文:\n\n{content}")llm=llm,#chain 2 任务:对翻译后的中文进行总结摘要 input_key是上一个chain的output_keysecond_prompt = ChatPromptTemplate.from_template("用一句话总结下面内容:\n\n{Chinese_Rview}")llm=llm,原创 2024-09-06 17:04:45 · 1243 阅读 · 0 评论 -
langchian,agent连接数据库并操作
注意langchain高版本不支持写入数据库,示例langchain==0.1.16。使用SQLDatabaseChain构建的agent,根据数据库回答问题。原创 2024-09-02 19:04:06 · 364 阅读 · 0 评论 -
自定义TOOLs(完全体Agent)
2.例如:计算\搜索\知识库检索(多轮对话): 用于生成指令和执行动作的 LLM。: 用于生成指令和执行动作的代理。: 用于存储历史对话和生成的指令。: 用于执行动作的函数。原创 2024-09-02 18:58:10 · 306 阅读 · 0 评论 -
上传文档+ARG检索+agent
2.ARG检索+agent(搜索+数学计算)1.上传文档,并存在向量数据库中。原创 2024-09-02 08:44:48 · 390 阅读 · 0 评论 -
RAG增强检索
文档向量化用DashScopeEmbeddings(阿里云百炼大模型服务平台的文本嵌入服务)- 1文档加载- 2文档分割- 3文档向量化-4构建向量库- 5基于知识库的问答。文档分割用CharacterTextSplitter(字符串分割)提高LLM回答的可控性和可解释性,提高模型的可信度和安全性。解决通用LLM针对一些小众领域没有涉猎的问题(私域)提升LLM回答的准确性、权威性、时效性。文档加载用TextLoader。构建向量库用Chroma。原创 2024-08-29 09:22:04 · 357 阅读 · 0 评论 -
langchain(基础)二--prompts高级
【代码】langchain(基础)二--prompts高级。原创 2024-08-27 19:52:48 · 390 阅读 · 0 评论 -
langchain(基础)一
(1)LangChain是一个基于语言模型开发应用程序的框架。(2)LangChain 为特定用例提供了多种组件,例如个人助理、文档问答、聊天机器人、查询表格数据、与 API 交互、提取、评估和汇总。(3)LangChain 中的模型分类:LLM(大型语言模型):这些模型将文本字符串作为输入并返回文本字符串作为输出。它们是许多语言模型应用程序的支柱。Chat (聊天模型):聊天模型由语言模型支持,但具有更结构化的 API。他们将聊天消息列表作为输入并返回聊天消息。原创 2024-08-26 19:23:24 · 581 阅读 · 0 评论 -
大模型qwen-turbo流式输出+多轮对话+前端SSE
2.将用户问的问题添加messages中。1.创建一个模型类与序列化器。3.前端SSE接收流式输出。原创 2024-08-25 20:03:23 · 290 阅读 · 0 评论 -
大模型-qwen-turbo(流式输出)
大模型流式输出API原创 2024-08-25 19:09:28 · 459 阅读 · 0 评论