2024年运维最新【大模型应用开发教程】03_调用大模型 API_system prompt(1)

6. 基于预训练的跨语言模型的应用于语音识别——将预训练的跨语言模型应用于语音识别任务中，研究其对语音识别准确性和多语种适应性的影响，并比较不同模型对多语种语音数据的处理能力。

选择适合自己兴趣和研究方向的选题，并与导师进行深入讨论和确认。

对于不同的问题与应用场景，我们可能需要设置不同的 Temprature。例如，


* 在本教程搭建的个人知识库助手项目中，我们一般将 Temprature 设置为0，从而保证助手对知识库内容的稳定使用，规避错误内容、模型幻觉；
* 在产品智能客服、科研论文写作等场景中，我们同样更需要稳定性而不是创造性；
* 但在个性化 AI、创意营销文案生成等场景中，我们就更需要创意性，从而更倾向于将 Temprature 设置为较高的值。


### 3. System Prompt


System Prompt 是随着 ChatGPT API 开放并逐步得到大量使用的一个新兴概念，事实上，它并不在大模型本身训练中得到体现，而是大模型服务方为提升用户体验所设置的一种策略。


具体来说，在使用 ChatGPT API 时，你可以设置两种 Prompt：


1. `System Prompt`，该种 Prompt 内容会在整个会话过程中持久地影响模型的回复，且相比于普通 Prompt 具有更高的重要性；
2. `User Prompt`，这更偏向于咱们平时的 Prompt，即需要模型做出回复的输入。


我们一般设置 System Prompt 来对模型进行一些初始化设定，例如，我们可以在 System Prompt 中给模型设定我们希望它具备的人设如一个个人知识库助手等。System Prompt 一般在一个会话中仅有一个。在通过 System Prompt 设定好模型的人设或是初始设置后，我们可以通过 User Prompt 给出模型需要遵循的指令。例如，当我们需要一个幽默风趣的个人知识库助手，并向这个助手提问我今天有什么事时，可以如下地构造 Prompt：

{
“system prompt”:“你是一个幽默风趣的个人知识库助手，可以根据给定的知识库内容回答用户的提问，注意，你的回答风格应是幽默风趣的”,
“user prompt”:“我今天有什么事务？”
}

通过如上 Prompt 的构造，我们可以让模型以幽默风趣的风格回答用户提出的问题。注意，如果有多个用户问题，那么我们只需要添加对应数量的 User Prompt 即可，System Prompt 仅需构造一个。


### 附一 基于 LangChain 自定义 LLM


LangChain 为基于 LLM 开发自定义应用提供了高效的开发框架，便于开发者迅速地激发 LLM 的强大能力，搭建 LLM 应用。


LangChain 也同样支持多种大模型，内置了 OpenAI、LLAMA 等大模型的调用接口。但是，LangChain 并没有内置所有大模型，它通过允许用户自定义 LLM 类型，来提供强大的可扩展性。


在本部分，我们以百度文心大模型为例，讲述如何基于 LangChain 自定义 LLM，让我们基于 LangChain 搭建的应用能够支持百度文心、讯飞星火等国内大模型。


本部分涉及相对更多 LangChain、大模型调用的技术细节，有精力同学可以学习部署，如无精力可以直接使用后续代码来支持调用。


要实现自定义 LLM，需要定义一个自定义类继承自 LangChain 的 LLM 基类，然后定义两个函数：


1. `_call 方法`，其接受一个字符串，并返回一个字符串，即模型的核心调用；
2. `_identifying_params 方法`，用于打印 LLM 信息。


首先我们导入所需的第三方库：

import json
import time
from typing import Any, List, Mapping, Optional, Dict, Union, Tuple
import requests
from langchain.callbacks.manager import CallbackManagerForLLMRun
from langchain.llms.base import LLM
from langchain.utils import get_from_dict_or_env
from pydantic import Field, model_validator

由于百度文心使用双重秘钥进行认证，用户需要先基于 API\_Key 与 Secret\_Key 来获取 access\_token，再使用 access\_token 来实现对模型的调用（详见《3. 调用百度文心》），因此我们需要先定义一个 get\_access\_token 方法来获取 access\_token：

def get_access_token(api_key : str, secret_key : str):
“”"
使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
“”"
# 指定网址
url = f"https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={api_key}&client_secret={secret_key}"
# 设置 POST 访问
payload = json.dumps(“”)
headers = {
‘Content-Type’: ‘application/json’,
‘Accept’: ‘application/json’
}
# 通过 POST 访问获取账户对应的 access_token
response = requests.request(“POST”, url, headers=headers, data=payload)
return response.json().get(“access_token”)

接着我们定义一个继承自 LLM 类的自定义 LLM 类：

继承自 langchain.llms.base.LLM

class Wenxin_LLM(LLM):
# 原生接口地址
url = “https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant”
# 默认选用 ERNIE-Bot-turbo 模型，即目前一般所说的百度文心大模型
model_name: str = Field(default=“ERNIE-Bot-turbo”, alias=“model”)
# 访问时延上限
request_timeout: Optional[Union[float, Tuple[float, float]]] = None
# 温度系数
temperature: float = 0.1
# API_Key
api_key: str = None
# Secret_Key
secret_key : str = None
# access_token
access_token: str = None
# 必备的可选参数
model_kwargs: Dict[str, Any] = Field(default_factory=dict)

上述初始化涵盖了我们平时常用的参数，也可以根据实际需求与文心的 API 加入更多的参数。


接下来我们实现一个初始化方法 init\_access\_token，当模型的 access\_token 为空时调用：

def init_access_token(self):
if self.api_key != None and self.secret_key != None:
# 两个 Key 均非空才可以获取 access_token
try:
self.access_token = get_access_token(self.api_key, self.secret_key)
except Exception as e:
print(e)
print(“获取 access_token 失败，请检查 Key”)
else:
print(“API_Key 或 Secret_Key 为空，请检查 Key”)
接下来我们实现核心的方法——调用模型 API：
def _call(self, prompt : str, stop: Optional[List[str]] = None,
run_manager: Optional[CallbackManagerForLLMRun] = None,
**kwargs: Any):
# 除 prompt 参数外，其他参数并没有被用到，但当我们通过 LangChain 调用时会传入这些参数，因此必须设置
# 如果 access_token 为空，初始化 access_token
if self.access_token == None:
self.init_access_token()
# API 调用 url
url = “https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant?access_token={}”.format(self.access_token)
# 配置 POST 参数
payload = json.dumps({
“messages”: [
{
“role”: “user”,# user prompt
“content”: “{}”.format(prompt)# 输入的 prompt
}
],
‘temperature’ : self.temperature
})
headers = {
‘Content-Type’: ‘application/json’
}
# 发起请求
response = requests.request(“POST”, url, headers=headers, data=payload, timeout=self.request_timeout)
if response.status_code == 200:
# 返回的是一个 Json 字符串
js = json.loads(response.text)
return js[“result”]
else:
return “请求失败”

然后我们还需要定义一下模型的描述方法：

首先定义一个返回默认参数的方法

@property
def _default_params(self) -> Dict[str, Any]:
“”“获取调用Ennie API的默认参数。”“”
normal_params = {
“temperature”: self.temperature,
“request_timeout”: self.request_timeout,
}
return {**normal_params}

@property
def _identifying_params(self) -> Mapping[str, Any]:
“”“Get the identifying parameters.”“”
return {**{“model_name”: self.model_name}, **self._default_params}

通过上述步骤，我们就可以基于 LangChain 定义百度文心的调用方式了。我们将此代码封装在 wenxin\_llm.py 文件中，将在讲述如何调用百度文心的 Notebook 中直接使用该 LLM。



为了做好运维面试路上的助攻手，特整理了上百道 **【运维技术栈面试题集锦】** ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，**小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。**

![](https://img-blog.csdnimg.cn/img_convert/3cba0394b360f545e4f573a2ea2cc728.png)

本份面试集锦涵盖了

*   **174 道运维工程师面试题**
*   **128道k8s面试题**
*   **108道shell脚本面试题**
*   **200道Linux面试题**
*   **51道docker面试题**
*   **35道Jenkis面试题**
*   **78道MongoDB面试题**
*   **17道ansible面试题**
*   **60道dubbo面试题**
*   **53道kafka面试**
*   **18道mysql面试题**
*   **40道nginx面试题**
*   **77道redis面试题**
*   **28道zookeeper**

**总计 1000+ 道面试题， 内容 又全含金量又高**

*   **174道运维工程师面试题**

> 1、什么是运维?

> 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

> 3、现在给你三百台服务器，你怎么对他们进行管理?

> 4、简述raid0 raid1raid5二种工作模式的工作原理及特点

> 5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

> 6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

> 7、Tomcat和Resin有什么区别，工作中你怎么选择?

> 8、什么是中间件?什么是jdk?

> 9、讲述一下Tomcat8005、8009、8080三个端口的含义？

> 10、什么叫CDN?

> 11、什么叫网站灰度发布?

> 12、简述DNS进行域名解析的过程?

> 13、RabbitMQ是什么东西?

> 14、讲一下Keepalived的工作原理?

> 15、讲述一下LVS三种模式的工作过程?

> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**