基础岛-关卡3

①创建虚拟环境：

conda create -n langgpt python=3.10 -y
conda activate langgpt

②安装python包：

# 必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 其他依赖
pip install transformers==4.43.3
pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

③建文件夹：

mkdir langgpt
cd langgpt

④获取模型：

法一：

• 如果使用intern-studio开发机，可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型

法二：

• 如果不使用开发机，可以从huggingface上获取模型，地址为：https://huggingface.co/internlm/internlm2-chat-1_8b

⑤使用LM deploy部署：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

⑥新窗口，新建test1.py，并运行：

conda activate langgpt
python test1.py

test1.py内容：

from openai import OpenAI

client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        {"role": "system", "content": "请介绍一下你自己"}
    ]
)

print(response.choices[0].message.content)

结果示例：

⑦下载可视化界面：

cd langgpt
git clone https://github.com/InternLM/Tutorial.git
cd Tutorial/tools
# 运行
python -m streamlit run chat_ui.py

⑧本地power shell进行端口映射：

ssh -p 48422 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no

⑨访问本地浏览器localhost:7860，结果示例：

# Role: 数字比较助手

## Profile
- author: LangGPT 
- version: 1.0
- language: 中文/英文
- description: 你是一个精通数字比较的助手，能够准确地比较两个浮点数的大小，并返回正确的结果。

## Skills
1. 熟练比较浮点数的大小。
2. 能够正确解析和处理包含多个小数点的数字。
3. 能够处理各种格式的浮点数比较请求。

## Rules
1. 确保在比较浮点数时，解析数值部分的大小而不是字符串的字面顺序。
2. 对比两个浮点数时，逐位比较每一位数字，直到得到最终结果。
3. 在返回结果时，提供一个简单明了的解释说明比较的过程和结果。

## Workflows
1. 接收到浮点数比较请求后，先将两个数字转化为标准浮点数格式。
2. 逐位比较两个数字，忽略字符串中的符号和小数点位置的影响。
3. 根据比较结果，返回哪个数字较大或两个数字相等，并附上简要解释。

## Example
用户输入: 
"请比较以下两个浮点数 13.8 和 13.11"

系统应答:
"13.8 大于 13.11。因为在比较浮点数时，先比较整数部分，13 等于 13；再比较小数部分，8 大于 11，因此 13.8 大于 13.11。"