本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

最新推荐文章于 2024-08-23 10:45:31 发布
最新推荐文章于 2024-08-23 10:45:31 发布
阅读量797 收藏 10
点赞数 3
文章标签： 机器人 langchain 数据库 语言模型 人工智能 自然语言处理 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/138960261
版权

一、背景

在这个信息爆炸💥的时代，人工筛选对自己有价值的信息无异于大海捞针。不过，幸好现在有了 AI 这个强大的工具，我们可以让它来帮我们做集检索、整合与分析为一体的工作。

这里，我想以 A 股行情（其他场景也类似）问答为例，希望构建这么一个 Bot，当我问它诸如「XX股票今天表现怎么样？」、「复盘今天的家电板块」等问题时，它可以迅速从海量市场数据中找到有价值的信息，帮我进行整合与分析，然后为我提供个性化的回复。

另外，这里我还有个要求，希望能在本地私有化部署，这就意味着与 coze 无缘了。

经过调研，我决定先采取 Langchain+Ollama 的技术栈来作为 demo 实现，当然，后续我也会考虑使用 dify、fastgpt 等更加直观易用的 AI 开发平台。

整体框架设计思路如下：

image.png

另外，本次开发的运行环境是 Intel Mac，其他操作系统也可以。下载模型等可能需要梯子。

二、Langchain 简介

www.langchain.com/langchain

Langchain 是当前大模型应用开发的主流框架之一，旨在帮助开发者构建和部署基于大型语言模型（LLM）的应用。它提供了一系列的工具和接口，使得与LLM交互变得简单。通过 Langchain，开发者可以轻松创建定制的高级应用，如聊天机器人、问答系统和多种智能应用。

Langchain 的核心在于其“链”概念，这是一个模块化的组件系统，包括 Model I/O（模型输入输出）、Retrieval（数据检索）、Chains（链）、Agents（代理）、Memory（内存）、和 Callbacks（回调）。这些组件可灵活组合，以支持复杂的应用逻辑。

Model I/O 模块负责处理与语言模型的直接交互，包括发送请求和解析响应。Retrieval 模块用于增强语言模型的回答能力，通过向量数据库检索相关信息来支持回答生成。Chains 模块则是多个组件的集成，用于构建更复杂的应用逻辑。

Langchain 的生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具，这些工具能帮助开发者高效管理从原型到生产的各个阶段，以便优化 LLM 应用。

三、Ollama 简介

ollama.com/

Ollama 是一个开箱即用的用于在本地运行大模型的框架。它的主要功能和特点包括：

  1. 支持多种大型语言模型：Ollama 支持包括 通义千问、Llama 2、Mistral 和 Gemma 等在内的多种大型语言模型，这些模型可用于不同的应用场景。
  2. 易于使用：Ollama 旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。
  3. 模型库：Ollama 提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。
  4. 自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。
  5. API 和集成：Ollama 还提供了 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。
  6. 社区贡献：Ollama 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。

总的来说，Ollama 是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。

后面在捏 Bot 的过程中需要使用 Ollama，我们需要先安装，访问以下链接进行下载安装。

ollama.com/download/

image.png

安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。我们可以通过 ollama list 进行确认，当我们还没下载模型的时候，正常会显示空：

image.png

可以通过 ollama 命令下载模型，

bash
复制代码
# 模型列表参考：https://ollama.com/library
$ ollama pull [model]

目前，我下载了 4 个模型：

image.png

几个模型简介如下:

  • Gemma：Gemma 是由 Google 推出的轻量级模型，Google 表示，“Gemma 2B 和 7B 与其他开放式模型相比，在其规模上实现了同类最佳的性能。” 本次开发，下载的是 7B 模型。
  • Mistral：Mistral 是由欧洲法国 Mistral AI 团队推出的大模型，该模型采用了分组查询注意力（GQA）以实现更快的推断速度。本次开发，下载的是 7B 模型。
  • Mixtral：Mixtral 也是由 Mistral AI 团队推出的大模型，但 Mixtral 是一个 8*7B 的 MoE 模型，在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5 。
  • Qwen：Qwen（通义千问）是由阿里巴巴推出的大模型，本次开发，下载的是 7B 模型。

四、万物皆可 RSS

巧妇难为无米之炊。不管是获取日常新闻，还是获取 A 股行情，都需要有稳定靠谱的数据源。大家可能第一时间会想到爬虫，但自己去搭建和维护这样一个爬虫系统还是比较麻烦的。有没有其他更好的方式呢？

这就需要用到「上古神器」RSS 了！

大家可能会觉得 RSS 已经过时了。现如今，打开手机，今日头条、微博、微信等 APP 时不时就会给你推送最新的资讯，日常生活工作好像没有用到 RSS 的场景。

确实，大部分情况下，我们想要获取资讯，手机 APP 基本够用了。

但是，如果你想针对一些特定的需求，需要从某些网站上获取最新通知或相关信息呢？

比如，

在这种情况下，我们可能会把网站添加到书签栏，然后时不时就会打开看一下，这种做法无疑是比较低效的，一旦网站变多，更是不现实。

如果我们能把真正想要关注的信息汇聚在同一个平台上，并且一旦有更新，就能第一时间在各种终端（如电脑、手机、Kindle 等）收到提醒，那岂不是美哉。

这里，我给大家推荐一个宝藏项目：

RSSHub

docs.rsshub.app/zh/

image.png

感谢 RSSHub 这个开源项目，它给各种各样的网站生成了 RSS 源，堪称「万物皆可 RSS」。

你能想到的大部分社交媒体（如 微博、Twitter、知乎等）、传统媒体（如央视新闻、路透社等）和金融媒体（如财联社、东方财富、格隆汇等），都能够配合 RSSHub，进行订阅。

image.png

通过 RSSHub 以及其他渠道，我个人维护了一个订阅源，如下：

image.png

五、流程拆解

有了数据，就意味着成功了一半。

5.1 创建 Python 虚拟环境

创建 python 虚拟环境，并安装相关库，我安装的是当前最新的库，版本如下：

  • ollama：0.1.8
  • langchain：0.1.14
  • faiss-cpu：1.8.0 （如果有gpu，则安装gpu版本）
  • gradio：4.25.0
  • feedparser：6.0.11
  • sentence-transformers：2.6.1
  • lxml：5.2.1
bash
复制代码
$ conda create -n finance_bot python=3.10
$ conda activate finance_bot
$ pip install ollama langchain faiss-cpu gradio feedparser sentence-transformers lxml

5.2 导入依赖库

加载所需的库和模块。

python
复制代码
import ollama
import feedparser
import gradio as gr

from lxml import etree
from langchain.vectorstores import FAISS
from langchain.docstore.document import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings.huggingface import HuggingFaceEmbeddings

其中，

  • feedparse 用于解析 RSS 订阅源
  • ollama 用于在 python 程序中跑大模型，使用前请确保 ollama 服务已经开启并下载好模型

5.3 从订阅源获取内容

下面函数用于从指定的 RSS 订阅 url 提取内容，这里只是给了一个 url，如果需要接收多个 url，只要稍微改动即可。然后，通过一个专门的文本拆分器将长文本拆分成较小的块，并附带相关的元数据如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，可用于进一步的数据处理或信息提取任务。

python
复制代码
def get_content(url):
    # 使用 feedparser 库来解析提供的 URL，通常用于读取 RSS 或 Atom 类型的数据流
    data = feedparser.parse(url)
    
    docs = []
    for news in data['entries']:
        # 通过 xpath 提取干净的文本内容
        summary = etree.HTML(text=news['summary']).xpath('string(.)')
        
        # 初始化文档拆分器，设定块大小和重叠大小
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200, length_function=len)
        
        # 拆分文档
        split_docs = text_splitter.create_documents(texts=[summary], metadatas=[{k: news[k] for k in ('title', 'published', 'link')}])
        
        # 合并文档
        docs.extend(split_docs)
                
    return data, docs

5.4 为文档内容生成向量

这里，我们使用文本向量模型 bge-m3。

huggingface.co/BAAI/bge-m3

bge-m3 是智源研究院发布的新一代通用向量模型，它具有以下特点：

  • 支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（Multi-Lingual）
  • 最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（Multi-Granularity）
  • 同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景（Multi-Functionality）

image.png

从 hf 下载好模型之后，假设放置在某个路径 /path/to/bge-m3，通过下面函数，利用 FAISS 创建一个高效的向量存储。

python
复制代码
def create_docs_vector(docs):
    # 基于 embeddings，为 docs 创建向量
    embeddings = HuggingFaceEmbeddings(model_name="/path/to/bge-m3", encode_kwargs={'normalize_embeddings': True})
    vector_store = FAISS.from_documents(docs, embeddings)
    return vector_store

5.5 实现 RAG

基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。

python
复制代码
def rag_chain(question, vector_store, model='qwen', threshold=0.3):
    # 从向量数据库中检索与 question 相关的文档
    related_docs = vector_store.similarity_search_with_relevance_scores(question)

    # 过滤掉小于设定阈值的文档
    related_docs = list(filter(lambda x: x[1] > threshold, related_docs))

    # 格式化检索到的文档
    context = "\n\n".join([f'[citation:{i}] {doc[0].page_content}' for i, doc in enumerate(related_docs)])

    # 保存文档的 meta 信息，如 title、link 等
    metadata = {str(i): doc[0].metadata for i, doc in enumerate(related_docs)}

    # 设定系统提示词
    system_prompt = f"""
    当你收到用户的问题时，请编写清晰、简洁、准确的回答。
    你会收到一组与问题相关的上下文，每个上下文都以参考编号开始，如[citation:x]，其中x是一个数字。
    请使用这些上下文，并在适当的情况下在每个句子的末尾引用上下文。

    你的答案必须是正确的，并且使用公正和专业的语气写作。请限制在1024个tokens之内。
    不要提供与问题无关的信息，也不要重复。
    不允许在答案中添加编造成分，如果给定的上下文没有提供足够的信息，就说“缺乏关于xx的信息”。

    请用参考编号引用上下文，格式为[citation:x]。
    如果一个句子来自多个上下文，请列出所有适用的引用，如[citation:3][citation:5]。
    除了代码和特定的名字和引用，你的答案必须用与问题相同的语言编写，如果问题是中文，则回答也是中文。

    这是一组上下文：

    {context}

    """

    user_prompt = f"用户的问题是：{question}"

    response = ollama.chat(model=model, messages=[
        {
            'role': 'system',
            'content': system_prompt
        },
        {
            'role': 'user',
            'content': user_prompt
        }
    ])

    print(system_prompt + user_prompt)

    return response['message']['content'], context

5.6 创建网页 UI

最后，通过 gradio 创建网页 UI，并进行评测。

python
复制代码
if __name__ == "__main__":
    hf_embedding = HuggingFaceEmbeddings(model_name="/path/to/bge-m3",
                                         encode_kwargs={'normalize_embeddings': True})
    
    # 财联社 RSS
    url = "https://rsshub.app/cls/depth/1003"
    data, docs = get_content(url)
    vector_store = create_docs_vector(docs, hf_embedding)
    
    # 创建 Gradio 界面
    interface = gr.Interface(
        fn=lambda question, model, threshold: rag_chain(question, vector_store, model, threshold),
        inputs=[
            gr.Textbox(lines=2, placeholder="请输入你的问题...", label="问题"),
            gr.Dropdown(['gemma', 'mistral', 'mixtral', 'qwen:7b'], label="选择模型", value='gemma'),
            gr.Number(label="检索阈值", value=0.3)
        ],
        outputs=[
            gr.Text(label="回答"),
            gr.Text(label="相关上下文")
        ],
        title="资讯问答Bot",
        description="输入问题，我会查找相关资料，然后整合并给你生成回复"
    )

    # 运行界面
    interface.launch()

生成的 Web UI 如下：

image.png

六、问答测试

对于同样的问题和上下文，我基于 Qwen-7b、Gemma、Mistral、Mixtral 和 GPT-4 分别进行了多次测试。下面是一些 case：

qwen

image.png

gemma

image.png

mistral

image.png

mixtral

image.png

gpt4

image.png

主要结论（只是针对有限的几次测试，个人主观评判）如下：

  • 👍 GPT-4 表现最好，指令遵循能力很强，在回答的时候能附上引用段落编号
  • ✌️ Mixtral 表现第二，但没有在回答的时候附上引用
  • 💪 Qwen-7b 表现第三，也没有在回答的时候附上引用
  • 😅 Gemma 表现一般，而且回答里面有一些幻觉
  • 😅 Mistral 表现一般，使用英文回复，不过在回答的时候附上了引用段落编号

总结

  1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。
  2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。
  3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。
  4. 对于期望在本地环境利用 AI 技术来搭建 RAG 系统的用户来说，本文提供了一个具有实际操作价值的参考方案。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

AI小白龙*
关注
掌控你的信息流：在自己的VPS上部署RSSHub
paulaz的博客
05-15 3149
什么是RSS RSS（Really Simple Syndication，简易信息聚合）是一种~~（已过时的）~~信息获取方式。简单但不严谨地来说，它就像是你的一个报童，然后知乎、微博、豆瓣、经济学人、纽约时报、BBC 这些内容创作网站就像是一家家报社。每天早上，报童会跑遍各个报社，从它们那里拿到新鲜出炉的报纸，然后把所有报纸一股脑地塞进你的信箱，以便你醒来后一打开信箱就可以看到当天的所有新闻，而不必亲自去跑各个报社。 在上面这个比喻中，报纸是 RSS，信箱是 RSS 阅读器，每家报社的地址是 RSS 订阅
RSSHub：:shortcake:一切都是RSSible
02-06
RSSHub :shortcake: 一切都是RSSible 介绍 RSSHub是一个开源，易于使用且可扩展的RSS feed生成器。 它能够从几乎所有内容生成RSS feed。 RSSHub提供了从各种来源聚合的数百万内容，我们充满活力的开源社区正在...
基于ChatGLM3的本地问答机器人部署流程
雪人见花的博客
06-07 686
微调。
通过 Ollama、Langchain 实现 RAG
hawk2014bj的博客
04-16 2821
RAG 在 Langchain 上的定义是，作为大语言模型最常用的场景就是问答系统，可以针对特别来源数据做问题回答，就是私有数据，这就是 RAG，英文全称是Retrieval Augmented Generation。就是对现有模型数据的增广，大语言模型都是在公众数据上训练，而且只是拿到了某一个时间点之前的数据。RAG 是数据增广，也可以说是数据过滤，按照今天大模型的发展，上下文的长度已经卷到200 万个汉字的无损上下文，那么 RAG 会不会以后就不需要了，每次对话都把文档带上，让我们拭目以待。
【AI工作流】Ollama本地化大模型安装
最新发布
m0_70486148的博客
08-23 1217
为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。1.Ollama在安装之前，有必要先说明一下Ollama是什么。Ollama是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。其特点包括如下：优点：Ollama后台服务能够帮助用户轻松搭建大语言模型服务，并且提供相应的API以扩展到其他如Dify等Web前台以及Obsidian等笔记软件，以最快的速度形成AI问答/AGENT/工作流等工作形式。
基于本地知识库的问答机器人langchain-ChatGLM
张伟的专栏
05-10 6372
langchain-ChatGLM是一个基于本地知识的问答机器人，使用者可以自由配置本地知识，用户问题的答案也是基于本地知识生成的。GitHub - imClumsyPanda/langchain-ChatGLM: langchain-ChatGLM, local knowledge based ChatGLM with langchain ｜ 基于本地知识的 ChatGLM 问答。
使用langchain+chatGPT搭建自有知识库问答机器人
冰血ANG的博客
07-07 6248
langchain + chatgpt构建自有知识库的知识问答系统
使用Ollama和LangChain构建本地RAG系统
weixin_41496173的博客
06-29 1053
随着Gemma 2在Keras、PyTorch、Hugging Face transformers等多种格式的发布，Ollama格式也随之发布。在本篇博客中，我们将介绍如何使用Gemma 2的9B模型和LangChain框架构建一个完全本地化的RAG（检索增强生成）系统，并展示实际代码示例。
RSSHub-docs:RSSHub文档通过[GitHub Actions]（https
04-12
标题 "RSSHub-docs: RSSHub文档通过[GitHub Actions]" 暗示了这是一个关于RSSHub文档自动化构建和部署的项目。RSSHub是一款开源的、自定义化的RSS生成器，它能够将各种网站内容转化为RSS订阅源。在这个项目中，...
actionsflow-trigger-rsshub:rsshub的Actionsflow触发器
04-28
@actionsflow/trigger-rsshub 这是一个 触发器。 使用此触发器，您可以轻松获取rsshub更新。 安装 npm i @actionsflow/trigger-rsshub 用法 单一路径： on : rsshub : path : /smzdm/keyword/女装 多种路径： ...
RSSHub
03-25
RSSHub :shortcake: 一切都是RSSible 介绍 RSSHub是一个开源，易于使用且可扩展的RSS feed生成器。 它能够从几乎所有内容生成RSS feed。 RSSHub提供了从各种来源聚合的数百万内容，我们充满活力的开源社区正在...
Langchain-Chatchat本地部署
我想问问天的专栏
03-10 3347
虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。
本地部署 langchain-ChatGLM
kuokay的博客
06-05 4256
大型语言模型（LLM）正在成为一种变革性的技术，使开发者能够建立他们以前无法建立的应用程序。然而，孤立地使用这些LLM往往不足以创建一个真正强大的应用程序–当你能将它们与其他计算或知识来源相结合时，真正的力量才会出现。这个库的目的是协助开发这些类型的应用。langchain 使用 Transformer 模型，并在多个语言间建立链式结构实现翻译。比如，它可以通过英语→法语→西班牙语完成英语到西班牙语的翻译。langchain 只使用公开数据集进行训练，不需要额外的数据。WMT2014英法翻译数据集。
Windows10 Langchain-Chatchat 本地部署+常见问题解决+避坑指南（从0开始部署，附带全部模型安装包）
good_good_study5的博客
03-25 6044
Windows10 Langchain-Chatchat 本地部署+常见问题解决+避坑指南,从0开始部署，附带全部模型安装包
小白的本地Langchain-Chatchat部署笔记
aqdfxx的博客
06-08 2387
这里的Ubuntu只是微软合作研究的Ubuntu-LTS 版，不是真正的Ubuntu,不过已经模拟的很成功了，绝大部分Ubuntu的功能和命令，在这个版本里都很好的运行，大大方便了我们在windows和 Linux两种环境里来回切换。学习完了，重新部署，上文的准备工作完成后，第一步就建立专用的虚拟环境，以后始终在这个虚拟环境里操作，包括安装项目的依赖，拉取模型，修改配置，初始化知识库，启动项目，直至部署成功。初始化过程，电脑风扇狂飙，CPU飙到100%，GPU飙到46%，内存飙到95%。
基于LangChain-ChatGLM量化后的大模型本地部署
m0_67472400的博客
08-04 3237
基于开源LangChain-ChatGLM的ChatGLM-6B-INT4本地部署
Langchain-Chatchat本地部署记录，三分钟学会！
2401_84204413的博客
07-02 1833
虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。如何学习AI大模型？我在一线互联网企业工作十余年里，指导过不少同行后辈。
【langchain】实战笔记-Langchain-Chatchat win10本地部署FAQ（持续更新）
xqdd的专栏
01-26 3788
Langchain-Chatchat win10本地部署问题集
本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama
deephub
06-26 9885
通过LangChain和Streamlit我们可以方便的整合任何的LLM模型，并且通过GGML我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说使非常有帮助的。作者：Afaque Umer。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值