本文发表于入职啦(公众号: ruzhila) 大家可以访问入职啦学习更多的编程实战。
代码已经开源:🚀 fgpt 欢迎大家star⭐和fork 👏
也可以加入交流群,大家一起沟通项目
ChatGPT现在免费提供了GPT3.5的Web访问,不需要注册就可以直接使用,但是,它的使用方式是通过Web页面,不够方便。
Shell-GPT 是一个流行的OpenAI 命令行工具,可以调用ChatGPT的API,但是它需要注册并获取API密钥,并且需要Python环境,对于一些不熟悉Python的用户来说,可能不太方便。
无依赖命令行使用GPT还是非常方便的,因此我决定用Rust实现一个类似的工具💡,不需要注册就可以直接使用,支持CLI
和OpenAI API代理
的两种模式, 实际的运行效果:
📖 文章系列分为三部分发布,记录完整的过程:
- 基于ChatGPT的Web API实现基本的调用,内置支持代理(这个很重要)
- 完善命令行的功能: 支持代码、文件输入、交互式输入等
- 实现OpenAI API代理,兼容OpenAI的OpenAPI接口, 等同于免费使用GPT3.5的API
ChatGPT的Web API工作流程
通过分析ChatGPT的Web API,我们可以发现它的工作流程如下:
- 调用
backend-anon/sentinel/chat-requirements
接口,获取一个token
- 调用
backend-anon/conversation
接口,基于SSE
获取聊天的结果
所以要做的事情,就是根据这个流程,用Rust实现完整的流程,已达到调用ChatGPT的目的。
我设计了一个简单的使用方式:
fgpt "输出一段python代码,实现字符串反转"
fgpt
这个命令行工具,会调用ChatGPT的Web API,返回一段Python代码,并且根据SSE
实现打字机的效果和交互式的输入。
需要用到哪些Rust的库(第一个版本)
第一个版本目标是完成基本的调用,所以只需要能使用命令行参数、发送HTTP请求、序列化和反序列化、日志输出、生成uuid
、正则表达式匹配、实现Stream
的功能等。
第一个版本大概需要用到以下几个库:
clap
用于解析命令行参数reqwest
用于发送HTTP请求tokio
用于异步编程serde
用于序列化和反序列化log
和env_logger
用于日志输出uuid
用来生成uuid
,regex
用于正则表达式匹配features
和Bytes
用于实现Stream
的功能
程序结构分析
fgpt
的代码结构如下:
mpi@mpis-Mac-mini fgpt % ls src
cli.rs main.rs proxy.rs fgpt.rs
主要的代码实现在src/fgpt.rs
中,src
中包含了cli.rs
和proxy.rs
两个模块,分别实现了CLI
和OpenAI API代理
的功能。
fgpt.rs 的实现
命令行
和API代理
只是呈现的方式不同,但是实现的逻辑是一样的,背后调用的都是fgpt.rs
的逻辑。
所以我基于Stream
的特性,设计了一个能够支持CLI
和API代理
的通用的Stream
,可以充分利用好``Stream`的特性:
pub(crate) struct CompletionStream {
response_stream: Pin<Box<dyn Stream<Item = Result<Bytes, reqwest::Error>> + Send>>,
}
impl Stream for CompletionStream {
type Item = reqwest::Result<String>;
fn poll_next(mut self: Pin<&mut Self>, cx: &mut Context<'_>) -> Poll<Option<Self::Item>> {
match self.response_stream.as_mut().poll_next(cx) {
Poll::Ready(Some(Ok(data))) => {
....
},
}
}
}
}
/// 调用实现这样的效果,这样就可以支持CLI和API代理
let stream = CompletionStream::new(reqwest::Client::new(), url, token);
while let Some(result) = stream.next().await {
println!("{}", result.unwrap());
}
解析Web API的返回结果
ChatGPT
的返回结果是一个SSE
的流,从测试的情况来看,返回有3种情况:
data: {"message": .... }
表示返回的是聊天的结果data: 2024-03-12 12:12:14.12
表示这个是一个心跳包data: [DONE]
表示当前的聊天结束
根据这个特点,实现了一个Enum
用来表示这三种情况:
enum ChatGPTResponse {
Data(CompletionResponse),
Done,
Heartbeat,
Text(String),
}
为了考虑后续的兼容性,当出现消息不能被CompletionResponse
解析当时候,还能够返回原始的消息,多兼容了一个Text
当类型:
CompletionResponse
是根据ChatGPT
返回的消息解析出来的结构体,不展开讨论
impl From<&BytesMut> for CompletionEvent {
fn from(line: &BytesMut) -> CompletionEvent {
...
serde_json::from_str(line_str).map(CompletionEvent::Data).unwrap_or(CompletionEvent::Text(line_str.to_string()))
}
}
}
如何实现打字机的效果
根据OpenAI的OpenAPI
文档,我们可以知道,ChatGPT
的返回结果是一个Delta
的结果,也就是说,每次返回的结果都是上一次的增量。
但是Web API
并没有这个Delta
的字段,每次返回都是完整的结果,所以我们需要自己实现这个效果。 这个实现也是比较简单,就是保留上一次的结果,然后和当前的结果进行比较,然后输出差异部分, 实际上用的是strip_prefix
这个函数:
let mut textbuf = String::new();
while let Some(message) = stream.next().await {
match message {
Ok(crate::fgpt::CompletionEvent::Data(message)) => {
let text = message.message.content.parts.join("\n");
let delta_chars = text.strip_prefix(textbuf.as_str()).unwrap_or(text.as_str());
textbuf = text.clone();
print!("{}", delta_chars);
let _ = std::io::stdout().flush();
}
}
....
}
为了实现打字机的效果,print!(..)
之后,需要flush
一下,这样才能实现效果,否则会等到换行的时候才输出,不符合我们的预期。
总结
这个工具是昨天开始构思,下午吃完饭的时候开始写,晚上就写完第一个可以运行的版本,总共写了410行的Rust
代码,明天会继续完善功能,实现更多的功能,比如支持文件输入、代码输入、交互式输入等。
我是一个写了20多年代码的老程序员,如果大家想学习编程,可以关注公众号:入职啦,或者加入下面的学习交流群,会分享更多的编程实战经验。
![项目交流群](https://img-blog.csdnimg.cn/direct/2ef63782f68145b1bf531f836471e4ff.png)