传说中的GPT-4V,终于上线了,虽然还是体验阶段。不过用过 OpenAI 视觉 API 的开发者都被惊艳到了。
已经有人玩出了各种花样了,比如用AI来解说视频,其实也是如此的丝滑:
整个实现过程可以分为 7 步:
- 提取视频帧;
- 构建描述提示;
- 发送 GPT 请求;
- 制作语音解说提示;
- 生成语音解说脚本;
- 将脚本转换为音频;
- 将音频与视频结合。
这个可以大家去玩哈
先上一个基础的示例:
先从这里拿到key:https://github.com/xing61/xiaoyi-robot
import os
import openai
import requests
import time
import json
import time
API_SECRET_KEY = "你的智增增的key";
BASE_URL = "https://flag.smarttrot.com/v1/" #智增增的base_url
from openai import OpenAI
# gpt4v
def gpt4v(query):
client = OpenAI(api_key=API_SECRET_KEY, base_url=BASE_URL)
resp = client.chat.completions.create(
model="gpt-4-vision-preview",
messages