省时查报告-专业、及时、全面的行研报告库
省时查方案-专业、及时、全面的营销策划方案库
【免费下载】2023年7月份全网热门报告合集
ChatGPT提词示例,让你的ChatGPT聪明100倍!
超百页干货资料:AI应用的难点、痛点与未来!
2023年AIGC行业调研报告.pdf(附下载链接)
ChatGPT提词手册,学完工作效率提升百倍
万字干货:ChatGPT的工作原理
2023年创业(有创业想法)必读手册
ChatGPT调研报告(仅供内部参考)
2023年AIGC发展趋势报告:人工智能的下一时代
《底层逻辑》高清配图
现在,GPT-3.5 Turbo支持自定义微调了!
只需上传自己的数据,就可以运行专属的定制大模型。
开发者狂喜!不少人惊呼:Awesome!
早期测试表明,经过微调的GPT-3.5 Turbo版本在某些任务中甚至可以超越GPT-4。
更新之余,OpenAI还直接明示了定价计划,微调费用主要分为初始训练费用和使用费用。
一个具有10万tokens训练数据集的微调工作(3个epoch训练)成本大概在2.40美元。
此外,OpenAI还透露了GPT-4微调将于今年秋天推出。
不过也有人不吃这套,吐槽微调成本太高,其生成成本是基础模型的8倍,必须要按照他们所说“将提示大小减小90%”,才能从中获取效益。
ChatGPT国内可以直接访问的链接,无需注册,支持编程等多个垂直模型,点开即用:
https://ai.zntjxt.com(复制链接电脑浏览器或微信中点开即可)
开发者自己进行监督微调
OpenAI首先给出了指南手册,微调可以用来改进这些模型性能。
可操纵性的改进,模型能够更好地遵循指令。比如输出简洁回答或始终以给定的语言响应。
一致的格式化响应,开发人员可用微调将用户提示转换为高质量JSON代码片段,随后用于自己的系统。
定制语气,微调可以更好磨炼模型输出的质感,比如语气,让它更适合企业品牌的声音。
除了提高性能之外,还能缩短提示时间,确保类似性能。另外,微调目前仅支持处理4000 tokens,这也是此前微调型号的两倍。16k tokens微调将于今年秋季推出。
早期测试人员通过对模型本身指令进行微调,加快了API调用还降低成本,让prompt减少了90%。
对函数调用结合和 gpt-3.5-turbo-16k的微调支持将在今年秋季晚些时候推出。
具体微调步骤,分为四步:
准备数据
{
"messages": [
{ "role": "system", "content": "You are an assistant that occasionally misspells words" },
{ "role": "user", "content": "Tell me a story." },
{ "role": "assistant", "content": "One day a student went to schoool." }
]
上传文件
curl -https://api.openai.com/v1/files \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "purpose=fine-tune" \
-F "file=@path_to_your_file"
创建微调作业
curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"training_file": "TRAINING_FILE_ID",
"model": "gpt-3.5-turbo-0613",
}'
使用微调模型
curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "ft:gpt-3.5-turbo:org_id",
"messages": [
{
"role": "system",
"content": "You are an assistant that occasionally misspells words"
},
{
"role": "user",
"content": "Hello! What is fine-tuning?"
}
]
}'
OpenAI透露,未来他们将推出微调UI,这样轻松访问正在进行中的工作。
定价方面,分为训练成本和使用成本。
训练:0.008美元/1000 tokens;
使用输入:0.012美元/1000 tokens;
使用输出:0.016 美元/1000 tokens。
不过可以看到的是,价格确实比基础模型高了不少。
更新了GPT-3模型
与此同时,OpenAI还在API端口更新了GPT-3模型:babbage-002 和 davinci-002。
这些模型都可以用新的API端点进行微调。
原始基础模型 (ada, babbage, curie, 和 davinci)将于明年*(2024年)1月4日关闭。
好了,感兴趣的朋友可以开始定制自己的GPT-3.5Turbo了。
「 更多干货,更多收获 」
【免费下载】2023年7月份全网热门报告合集
ChatGPT提词示例,让你的ChatGPT聪明100倍!
超百页干货资料:AI应用的难点、痛点与未来!
万字干货:ChatGPT的工作原理
2023年创业(有创业想法)必读手册
ChatGPT调研报告(仅供内部参考)
ChatGPT的发展历程、原理、技术架构及未来方向
2023年AIGC发展趋势报告:人工智能的下一时代
推荐系统在腾讯游戏中的应用实践.pdf
推荐技术在vivo互联网商业化业务中的实践.pdf
2023年,如何科学制定年度规划?
《底层逻辑》高清配图
推荐技术在vivo互联网商业化业务中的实践.pdf
推荐系统基本问题及系统优化路径.pdf
荣耀推荐算法架构演进实践.pdf
大规模推荐类深度学习系统的设计实践.pdf
某视频APP推荐策略详细拆解(万字长文)
关注我们
智能推荐 个性化推荐技术与产品社区 | 长按并识别关注 |
一个「在看」,一段时光👇