伴随大语言模型（LLM，Large Language Model）的涌现，人们发现生成式人工智能在非常多领域具有重要意义，如图像生成，书写文稿，信息搜索等。随着 LLM 场景的多样化，大家希望 LLM 能在垂直领域发挥其强大的功能。但是由于大模型在特定领域数据集的训练和时效性限制，在 LLM 的基础上构建垂直领域的产品时，需要将特定的知识库输入到大模型中来训练或者推理。
目前常用的方式有两种：微调（Fine-Tuning），提示学习（Prompt-Tuning）。前者是通过新数据集在已有模型上进一步训练，训练成本较高，时效性较差。后者在训练成本，时效性上都比较灵活。
本文将基于提示学习方式，介绍如何基于火山引擎云搜索服务和方舟平台来构建专属的智能问答系统。利用嵌入技术（embedding），通过嵌入模型，将数据集内容转化为向量，然后借助火山引擎云搜索服务 ESCloud 的向量搜索能力，将这些向量和数据保存起来。在查询阶段，通过相似度查询，匹配出关联的 topK 结果，然后将这些结果辅以提示词提供给 LLM，最终生成相应的答案。这里会从火山引擎方舟平台大模型广场中选取一个大模型作为 LLM 来推理答案。选用开源框架 LangChain 作为构建端到端语言模型应用框架，简化整个聊天模型的链路。
云搜索 VectorStore 准备
-
登录火山引擎云搜索服务，创建实例集群，集群版本选择 7.10.
-
在火山引擎方舟平台大模型广场选择合适的模型，并查看 API 调用说明
- Mapping 准备
PUT langchain_faq``{` `"mappings": {` `"properties": {` `"message": { "type": "text" },` `"message_embedding": { "type": "knn_vector", "dimension": 768 },` `"metadata": { "type": "text" }` `}` `},` `"settings": {` `"index": {` `"refresh_interval": "10s",` `"number_of_shards": "3",` `"knn": true,` `"knn.space_type": "cosinesimil",` `"number_of_replicas": "1"` `}` `}``}
Client 准备
- 依赖安装
pip install volcengine --user``pip install langchain --user
- 初始化
#Embedding``from langchain.embeddings import HuggingFaceEmbeddings``#VectorStore``from langchain.vectorstores import OpenSearchVectorSearch``#LLM Base``from langchain.llms.base import LLM``#Document loader``from langchain.document_loaders import WebBaseLoader``#LLM Cache``from langchain.cache import InMemoryCache``#Volcengine``from volcengine.ApiInfo import ApiInfo``from volcengine import Credentials``from volcengine.base.Service import Service``from volcengine.ServiceInfo import ServiceInfo`` ``import json``import os``from typing import Optional, List, Dict, Mapping, Any`` ``#加载Embeddings，这里使用huggingFace 作为embedding``embeddings = HuggingFaceEmbeddings()`` ``# 启动llm的缓存``llm_cache = InMemoryCache()
MaaS 准备
我们从火山引擎方舟大模型平台中选取一个模型，这个步骤可以在选择模型后右上角的 API 调用中看到样例。
maas_host = "maas-api.ml-platform-cn-beijing.volces.com"``api_chat = "chat"``API_INFOS = {api_chat: ApiInfo("POST", "/api/v1/" + api_chat, {}, {}, {})}`` ``class MaaSClient(Service):` `def __init__(self, ak, sk):` `credentials = Credentials.Credentials(ak=ak, sk=sk, service="ml_maas", region="cn-beijing")` `self.service_info = ServiceInfo(maas_host, {"Accept": "application/json"}, credentials, 60, 60, "https")` `self.api_info = API_INFOS` `super().__init__(self.service_info, self.api_info)`` ``client = MaaSClient(os.getenv("VOLC_ACCESSKEY"), os.getenv("VOLC_SECRETKEY"))`` ``#引入LLM Base,构造Volc GLM Client, 用于和LLM 对话``from langchain.llms.base import LLM``class ChatGLM(LLM):` `@property` `def _llm_type(self) -> str:` `return "chatglm"` `def _construct_query(self, prompt: str) -> Dict:` `query = "human_input is: " + prompt` `return query` `@classmethod` `def _post(cls, query: Dict) -> Any:` `request = ({` `"model": {` `"name": "chatglm-130b"` `},` `"parameters": {` `"max_tokens": 2000,` `"temperature": 0.8` `},` `"messages": [{` `"role": "user",` `"content": query` `}]` `})` `print(request)` `resp = client.json(api=api_chat, params={}, body=json.dumps(request))` `return resp` `def _call(self, prompt: str,`` stop: Optional[List[str]] = None) -> str:` `query = self._construct_query(prompt=prompt)` `resp = self._post(query=query)` `return resp
写入数据集
这里我们利用 LangChain 的 Loader 导入一些 Web 的数据集，然后利用 HuggingFaceEmbeddings (768 维度)生成特征值。用 VectorStore 写入云搜索服务 ESCloud 的向量索引。
# Document loader``from langchain.document_loaders import WebBaseLoader``loader = WebBaseLoader("https://lilianweng.github.io/posts/2023-06-23-agent/")``data = loader.load()``# Split``from langchain.text_splitter import RecursiveCharacterTextSplitter``text_splitter = RecursiveCharacterTextSplitter(chunk_size = 500, chunk_overlap = 0)``all_splits = text_splitter.split_documents(data)``#Embeddings``from langchain.embeddings import HuggingFaceEmbeddings``embeddings = HuggingFaceEmbeddings()``#VectorStore` `# URL 为云搜索VectorStore的访问URL,``# http_auth 为访问云搜索的用户密码``from langchain.vectorstores import OpenSearchVectorSearch``vectorstore = OpenSearchVectorSearch.from_documents(` `documents = all_splits,` `embedding = HuggingFaceEmbeddings(),` `opensearch_url = "URL",`` http_auth = ("user", "password"),` `verify_certs = False,` `ssl_assert_hostname = False,` `index_name = "langchain_faq",` `vector_field ="message_embedding",` `text_field = "message",` `metadata_field = "message_metadata",` `ssl_show_warn = False,)
查询 + Retriever
query = "What are the approaches to Task Decomposition?"``docs = vectorstore.similarity_search(` `query,` `vector_field="message_embedding",` `text_field="message",` `metadata_field="message_metadata",)``retriever = vectorstore.as_retriever(search_kwargs={"vector_field": "message_embedding", "text_field":"message", "metadata_field":"message_metadata"})
LLM Chat
这里选择了大模型平台中的 ChatG**
调用 ChatAPI，这里会使用 Langchain 自带的 Prompt，结合 Query，给 LLM 然后发送出去。
from langchain.chains import RetrievalQA``llm = ChatGLM()``retriever = vectorstore.as_retriever(search_kwargs={"vector_field": "message_embedding", "text_field":"message", "metadata_field":"message_metadata"})``qa_chain = RetrievalQA.from_chain_type(llm,retriever=retriever)``qa_chain({"query": query})
调试可以看到提示词：
回答：
以上就是基于火山引擎云搜索服务和方舟平台构建专属智能问答系统的实践，欢迎大家登陆火山引擎控制台操作！
如何系统的去学习大模型LLM ？
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
1098
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
