大模型（LLM）的若干科普之问（三）_大模型流式翻译-CSDN博客

本文链接：https://blog.csdn.net/qiy_icbc/article/details/144850602

大型语言模型（LLM）通常为用户提供两种使用方式，一是为普通用户提供聊天界面方式；二是为专业用户提供API方式。

一、聊天界面

在大型语言模型（LLM）的聊天界面中，通常会提供多种功能来增强用户体验、提高交互效率，并满足不同场景的需求。以下是常见的功能及其说明：

1. 核心功能

1.1 发送消息

用户输入文本后，点击“发送”按钮或按 Enter 键，将消息发送给模型。
支持文本、表情符号、链接等内容。

1.2 接收回复

模型生成回复后，显示在聊天界面中。
回复可能是纯文本、格式化文本（如 Markdown）、代码块等。

1.3 开启新对话

清除当前对话历史，开始一个全新的会话。
适用于切换话题或保护隐私。

2. 增强功能

2.1 多轮对话

保留对话历史，模型可以根据上下文生成更连贯的回复。
用户和模型的交互会显示在聊天记录中。

2.2 编辑消息

允许用户编辑已发送的消息，模型会根据修改后的内容重新生成回复。

2.3 删除消息

用户可以删除自己发送的消息或模型的回复，清理聊天记录。

2.4 复制回复

提供一键复制功能，方便用户将模型的回复复制到剪贴板。

2.5 重新生成回复

如果对模型的回复不满意，可以点击“重新生成”按钮，让模型生成新的回复。

3. 个性化功能

3.1 调整模型参数

允许用户调整生成文本的参数，例如：
- Temperature：控制生成文本的随机性。
- Max Tokens：限制生成文本的最大长度。
- Top-p (Nucleus Sampling)：控制生成文本的多样性。

3.2 选择模型

提供多种模型选项（如 GPT-3.5、GPT-4、DeepSeek 等），用户可以根据需求选择。

3.3 设置系统角色

允许用户定义模型的角色和行为，例如：
- “你是一个专业的翻译助手。”
- “你是一个幽默的聊天伙伴。”

4. 实用工具

4.1 代码高亮

如果模型返回代码，界面会支持代码高亮，方便开发者阅读。

4.2 格式化文本

支持 Markdown 或其他格式化文本，例如加粗、斜体、列表等。

4.3 文件上传

允许用户上传文件（如文本、图片、PDF），模型可以基于文件内容生成回复。

4.4 语音输入

支持语音转文字功能，用户可以通过语音输入消息。

4.5 翻译功能

提供一键翻译功能，将模型的回复翻译成用户指定的语言。

5. 管理与分享功能

5.1 保存对话

允许用户将对话记录保存为文本文件或其他格式。

5.2 导出对话

支持将对话导出为 PDF、Markdown 等格式，方便分享或存档。

5.3 分享链接

生成对话的分享链接，其他人可以通过链接查看对话内容。

5.4 历史记录

提供历史对话记录列表，用户可以查看或继续之前的对话。

6. 用户体验优化

6.1 实时流式输出

模型生成回复时，以流式方式逐字显示，减少等待时间。

6.2 加载状态

在模型生成回复时，显示加载动画或提示，让用户知道系统正在处理。

6.3 错误提示

如果模型生成失败或出现错误，显示友好的错误提示信息。

6.4 夜间模式

提供夜间模式或主题切换功能，适应不同用户的视觉偏好。

7. 高级功能

7.1 自定义指令

允许用户设置自定义指令，例如：
- “始终用英文回复。”
- “尽量简洁地回答。”

7.2 多语言支持

支持多种语言的输入和输出，满足全球用户的需求。

7.3 插件集成

集成第三方插件或工具，例如：
- 计算器
- 搜索引擎
- 知识库查询

7.4 协作功能

支持多人协作聊天，多个用户可以同时与模型交互。

8. 安全与隐私功能

8.1 内容过滤

自动过滤不当内容，确保对话内容符合社区规范。

8.2 隐私模式

提供隐私模式，对话记录不会被保存或用于模型训练。

8.3 数据清除

允许用户手动清除所有对话记录和相关数据。

二、API

就是由专业人士编写程序（如，Python 程序），在程序中按要求调用LLM提供的API，再在某个环境中执行。

1.执行含API的程序

例如，Python 程序：
Python 环境：确保你有一个 Python 环境（建议使用 Python 3.6 或更高版本）。
安装依赖：你需要安装 openai 库。可以通过以下命令安装：

pip install openai

API 密钥：你需要将 "<your API key>" 替换为你自己的 DeepSeek API 密钥。

执行环境的选择：

本地机器：你可以在本地计算机上运行这个程序，只需确保安装了 Python 和 openai 库。
云服务器：你可以在云服务器（如 AWS、Google Cloud、Azure 等）上运行这个程序。
Jupyter Notebook：你可以在 Jupyter Notebook 或 Google Colab 中运行这个程序。
Docker 容器：你可以将程序打包到 Docker 容器中运行。

示例步骤（在本地机器上运行）：

打开终端或命令行。
创建一个新的 Python 文件，例如 deepseek_chat.py，并将上述代码粘贴到文件中。
替换 "<your API key>" 为你的实际 API 密钥。
运行脚本：
```
python deepseek_chat.py
```

要求：

网络连接：确保你的设备能够访问 https://api.deepseek.com。
API 配额：注意 API 调用的配额和费用，避免超出限制。

2.支持API的程序

有多种程序语言支持它。这个仅几个你感觉一下：
1、用命令行的方式，即用curl

curl https://api.deepseek.com/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <DeepSeek API Key>" \
  -d '{
        "model": "deepseek-chat",
        "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "Hello!"}
        ],
        "stream": false
      }'

2、用Python语言

# Please install OpenAI SDK first: `pip3 install openai`

from openai import OpenAI

client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com")

response = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "system", "content": "You are a helpful assistant"},
        {"role": "user", "content": "Hello"},
    ],
    stream=False
)

print(response.choices[0].message.content)

3、用JavaScript，即在Node.js中

// Please install OpenAI SDK first: `npm install openai`

import OpenAI from "openai";

const openai = new OpenAI({
        baseURL: 'https://api.deepseek.com',
        apiKey: '<DeepSeek API Key>'
});

async function main() {
  const completion = await openai.chat.completions.create({
    messages: [{ role: "system", content: "You are a helpful assistant." }],
    model: "deepseek-chat",
  });

  console.log(completion.choices[0].message.content);
}

main();