最美dee时光的博客

一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。该项目是一个可以实现 __完全本地化__推理的知识库增强方案, 重点解决数据安全保护，私域化部署的企业痛点。本开源方案采用Apache License，可以免费商用，无需付费。目前支持市面上主流的本地大语言模型和Embedding模型，支持开源的本地向量数据库。本项目实现原理如下图所示，过程包括加载文件->读取文本->文本分割->文本向量化->问句向量化->

基于ggml的纯C++实现，工作方式与llama.cpp相同。通过 int4/int8 量化、优化的 KV 缓存和并行计算加速内存高效的 CPU 推理。具有打字机效果的流式生成。Python 绑定、Web demo、API server和更多可能性。硬件：x86/arm CPU、NVIDIA GPU、Apple Silicon GPU平台：Linux、MacOS、Windows。

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。更强大的基础模型。更完整的功能支持。更全面的开源序列。详细介绍参考官方README介绍。basic_demo: 基础demo（cli_demo和web_demo）composite_demo ： 综合demo（聊天、工具和代码解释器）finetune_demo：基础模型微调model：这个事自己创建的，将模型文件放在此目录下openai_api_demo: openapi的api接口demo。

更强大的性能。更长的上下文。更高效的推理。更开放的协议。详细介绍参考官方README介绍。