如何在不微调的情况下提高 RAG 的准确性？

最新推荐文章于 2024-11-10 11:53:38 发布

AI大模型 lose and dream

最新推荐文章于 2024-11-10 11:53:38 发布

阅读量606

点赞数 26

文章标签：人工智能 AI-native 百度 llama 学习神经网络自然语言处理

本文链接：https://blog.csdn.net/lhx17673139267/article/details/140789429

版权

今天，我们要尝试使用langchain完成一个最简单的任务：

基于一个大语言模型(LLM)，使用代码的方式完成对话(chat)

为了实现这个目标，我们需要先进行如下的准备，然后才能开始进行代码的编写：

1、使用ollama，在本地配置一个LLM；

2、配置好PyCharm的环境；

3、langchain等依赖库的安装。

先大体的介绍一下思路：

langchain是一套AI编程框架，将基础的功能已经整合进来封装，减少我们的工作量。但langchain本身并不是LLM，需要我们安装好LLM，或使用在线api。我们选择了自己部署，而自己部署的一个工具就是Ollama，它可以在本地部署好我们的LLM，如llama\qwen等，Ollama是这些LLM的运行环境。

串连起来说就是：用langchain提供的函数进行快捷编程，langchain的函数调用Ollama的接口，Ollama再调用部署在其中的LLM，实现对LLM功能的调用，完成我们的任务。

什么是Ollama？

在这里插入图片描述
用通俗的语言解释，Ollama是大模型的运行环境，LLM并不是一个可执行文件，需要依托于一个运行环境才可以使用。百度搜索 Ollama 下载。

Ollama本身就200M+的大小，任何电脑都可以安装。Ollama没有GUI，需要我们在CMD中运行。

在这里插入图片描述
完成安装后，输入ollama -v，能看到version就非常OK！

但这只是一个空的运行环境，接下来要去安装一个LLM，这里我选择阿里的QWEN2。

在这里插入图片描述
回到官网，点击页面右上角的"model"，找到QWEN2。

在这里插入图片描述
点击进去后，这里可以在旁边看到安装的命令。

ollama run qwen2

如果你的电脑性能一般，ollama的运行会比较慢。Ollama对电脑的最低要求包括至少8GB的内存以流畅运行7B模型，‌而14B模型则需要至少16GB内存，‌72B模型则需要至少64GB内存。‌

回到CMD中，输入上述命令。

在这里插入图片描述
看到开始安装。需要多长时间看自己的网速。

完成后，回到CMD，输入ollama run qwen2，就可以运行千问大模型，并与其对话了。

在这里插入图片描述
有了这个模型后，我们可以安装一个webui，这样就可以像chatGPT一样在网页中对话。但我们今天的任务是使用代码进行对话，这样才能将整个过程结合到我们的业务中。

Ollama的接口服务器占用11434端口，所以，我们可以先在浏览器中查看此服务是否可用。
在这里插入图片描述
你自己也可以安装一些其它的模型来体验。

安装Pycharm并配置langchain

Pycharm我就不多说了，相信来学习AI的都会使用，这里只给出我们需要在编码前，完成的一些依赖库安装。
在这里插入图片描述
如果你的pip版本老了，先升级一下。

python.exe -m pip install --upgrade pip

然后执行下面的命令，安装langchain

pip install langchain pip install langchain-community pip install
beautifulsoup4

LangChain: 一个 LLM 编程框架，你想开发一个基于 LLM 应用，需要什么组件它都有，直接使用就行；甚至针对常规的应用流程，它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。

langchain有如下的几大模块：提示模板、示例选择器、聊天模型、LLMs、输出解析器、文档加载器、文本拆分器、嵌入模型、向量存储、检索器、索引、工具、代理、多模态、回调。看起来很多，但是你会发现，langchain已经将我们需要四处寻找的工具，都整合了进来，这样会节省我们大量的时间。

先放下langchain是什么的好奇心，我们后面会讲到。现在，在我们完成Ollama及llm，以后Python运行环境的准备后，我们输入这段代码。

def chat():
prompt = ChatPromptTemplate.from_messages([
(“system”, “{parser_instructions}”),
(“human”, “列出{cityName}的{viewPointNum}个著名景点。”)
])
model = Ollama(model=“qwen2”)
output_parser = CommaSeparatedListOutputParser()
parser_instructions = output_parser.get_format_instructions()
# 查看解析器的指令内容
print(“----- 解析器 -----”)
print(parser_instructions)
final_prompt = prompt.invoke({“cityName”: “成都”, “viewPointNum”: 4, “parser_instructions”: parser_instructions})
response = model.invoke(final_prompt)
print("----- response -----")
print(response)

ret = output_parser.invoke(response)
print("------ret-----")
print(ret)

运行后得到了结果：

在这里插入图片描述
运行时长依你的电脑配置而定，我的几秒，现在我们来解释一下代码。

什么是langchain?

前面已经提到LangChain是一个 LLM 编程框架，你想开发一个基于 LLM 应用，需要什么组件它都有，直接使用就行；

langchain最有价值的是组件：用于处理语言模型的抽象概念，以及每个抽象概念的实现集合。无论你是否使用LangChain框架的其他部分，组件都是模块化的，易于使用。现成的链：用于完成特定高级任务的组件的结构化组合。现成的链使人容易上手。对于更复杂的应用和细微的用例，组件使得定制现有链或建立新链变得容易。

这些概念性的知识在实际运用前都是难以理解的，让我们直接开始看代码吧。

从我们最直观的感受上来说，一个Chat的过程肯定是准备好提示词 -> 输入给LLM -> LLM输出反馈。

prompt = ChatPromptTemplate.from_messages([
(“system”, “{parser_instructions}”),
(“human”, “列出{cityName}的{viewPointNum}个著名景点。”)
])

这里是使用了langchain的提示词模板，system中的

###parser_instructions是对于输出的要求
###human中的cityName和viewPointNum是我们的问题中动态输入的参数。

然后下一段

model = Ollama(model=“qwen2”)

定义了我们要使用的LLM，这里我使用了“千问”

下一段

output_parser = CommaSeparatedListOutputParser() parser_instructions =
output_parser.get_format_instructions()

这里定义了输出的解析方式CommaSeparatedListOutputParser，

除此之外，还有DatetimeOutputParser、EnumOutputParser等多种解析器

完成了提示词、大模型选择、输出定义后，但并没有运行起来。需要我们在后面的代码中，使用invoke。

final_prompt = prompt.invoke(
{“cityName”: “成都”, “viewPointNum”: 4, “parser_instructions”: parser_instructions})
###对prompt使用invoke，将我们的输入绑定到提示词模板，形成final_prompt

response = model.invoke(final_prompt) print(“----- response -----”)
print(response)

###对model使用invoke，将final_prompt提交给LLM，也就是qwen2，
###最后得到一个response，这是一个message，需要解析成我们需要的格式。

ret = output_parser.invoke(response) print(“------ret-----”)
print(ret)
###将response提交给output_parser，得到分隔开的一个字段串数组类型的输出。

怎么样！是不是十分的简单。在这段代理里使用了提示词模板、模型、输出解析器。但前面提到的最重要的链好像并没有用到。

langchain使用了LCEL表达语言，我们可以将上述的运行部分用这样的方式来替代，一样可以得到结果。

chain = prompt | llm | output_parser rrr = chain.invoke({“cityName”:
“成都”, “viewPointNum”: 4, “parser_instructions”: parser_instructions})

这就是langchain的链的表达，虽然这只是一个最简单的链，但我们已经初步的感受到，链就是一个工作流，将我们的工作串起来，避免了Invoke满天飞。

在langchain中，实际上已经定义了很多的chain，当我们更加的熟悉后，我们可以使用现有的链。

总结

今天我们学习了在本地部署一个大模型，配置langchain，并使用langchain完成了一个最基础对话功能。那么，我们如何才能给他一段我们的语料，让大模型根据我们的语料来回答问题呢？明天，我们再继续探索。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述