一个学长的博客

本文记录了使用树莓派5调用通过义千问API进行流式输出和多轮对话的全过程，包括给树莓派OS安装中文输入法，建立环境，安装调用通义千问API所需的库，以及配置树莓派的Tonny解释器，和运行结果。

在了解完了大语模型的基本知识，例如API的使用多轮对话，流式输出，微调，知识向量库等知识之后，接下来需要进一步补足的一个大块就是提示词工程，学习和了解提示词工程除了基本的提示词类型之外，不同的大模型对于提示词工程润色之后的提示词的反应如何，也是比较值得关注的一点，因此本文使用，文心一言4.0，通义千问，ChatGPT4, Claude3，四种模型来实验一下各类的提示词(自己花钱5555)。

最开始使用LangChain结合通义千问API实现了基础的RAG（Retrieval-Augmented Generation）过程，当时认为embedding模型似乎是LangChain的一部分，然后又通过学习OpenAI的API发现，其实使用embedding模型不需要一定捆绑在LangChain上，可以作为一个独立的API来使用，因此在尝试实现了OpenAI的embedding模型之后，将当初结合LangChain使用的国产的有道的embedding模型来进行一下向单独的知识向量库的生成。

在完成了GPT多轮对话流式输出和知识向量库之后，接下来就非常重要的对模型进行微调，相比于我了解到的国内的大模型的微调，一般都需要在Linux服务器上使用shell文件进行微调，而OpenAI对GPT模型开放了线上微调的功能，只需要直接上传你的json文件选择一个与训练模型，就可以一键微调，之后也是在PC端直接应用你微调的模型就好，对于学习了解微调来说，这是一个最快的入门方式。

首先第一篇文章中探讨和使用了ChatGPT4的API-Key实现基础的多轮对话和流式输出，完成了对GPT-API的一个初探索，那第二步打算使用OpenAI的embedding模型来构建一个知识向量库，其实知识向量库本质上就是一个包含着一组向量的数组，然后通过查询输入文本生成的向量和数据库文本中的向量的余弦相似度来进行相似度判断，在使用的过程中还是非常舒服的。前置文章：ChatGPT4 API-Key初探-本地调用API进行多轮对话方和流式输出。

既然要做了大模型，尽管可能国内无法使用GPT4进行商用，除了性能地表最强之外，其优秀的Function calling（函数调用）在线微调还有各种，例如可以便捷处理知识向量库等功能，都是非常值得学习的，而且国内的模型的各种术语调用方式一定都是对GPT模式的仿照和借鉴既然如此那么学习和使用一遍GPT的各种功能对于后续使用国产大模型开发应该非常有帮助.

实现了在Windows上部署通义千问的Qwen-7B-Chat Qwen-1.5-1.8B 模型且实现多轮对话和流式输出，目前还在更新。

解决LangChain无法自定义导入知识向量库的文本切分方式的问题，提出了一种自定义的文本切分方法。

系列的第三篇文章，前两篇分别介绍了通义千问API的使用和LangChain自建知识库，现在实现对自建知识库的多轮对话和流式输出。

在使用了通义千问API了之后，下一步就是构建知识库文档，使用了比较有名的LangChian，最后成果将自己的txt生成了知识向量库，最后我还把自己的论文生成了一个知识向量库，然后问他我的创新点是啥，实话实说比我总结的好，我想这下回老师要是看不懂我论文的时候能不能直接，嗯，对吧，反正也是工作中用到还挺有意思的，能分享的部分我都分享出来了，然后这个是接着通专栏的第一篇的延申文档。

​ 通义千问是阿里云开发的大语言模型(Large language Model )LLM,旨在提供广泛的知识和普适性，可以理解和回答各领域中的问题，其包含网页版和手机版本的通义前文APP，网页使用的模型为不公开的最新版本。​ 在其官方文档中主要开源了五种可以使用的模型其开源模型的简介和参数如下:​非限时免费开发模型，有使用Token数量的限制。