深度学习
关注
分享
扫一扫
文章平均质量分 71
ybdesire
Talk is cheap. Show me the code.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
从头训练GPT2-124M过程中从wandb看到的参数含义
MFU（Model FLOPs Utilization）表示模型算力利用率...原创 2024-09-04 21:50:47 · 611 阅读 · 0 评论 -
vllm部署Mistral-Large-Instruct-2407
vllm部署最新发布的最强大模型Mistral-Large-Instruct-2407为openai兼容接口原创 2024-07-25 23:30:00 · 1484 阅读 · 1 评论 -
理解大模型训练中的 Pre-Training，Fine-Tuning，In-Context Learning，Reward Modeling，PPO，DPO，RLHF
大模型训练中的 Pre-Training，Fine-Tuning，In-Context Learning，Reward Modeling，PPO，DPO，RLHF的含义与区别。原创 2024-03-09 23:30:00 · 6867 阅读 · 0 评论 -
大模型训练所需的硬件配置
训练一个大模型，到底需要投入多少块GPU，需要多少数据，训练多长时间能达到一个不错的效果？原创 2024-02-11 09:30:00 · 10992 阅读 · 0 评论 -
使用gpu_burn对GPU进行压测
使用gpu_burn，能在命令行中，对服务器上的每一个GPU进行压力测试，得出其速度、温度等关键指标。原创 2024-02-07 23:45:00 · 14586 阅读 · 0 评论 -
OpenAI接口Completion和ChatCompletion的区别与使用方法
OpenAI有两个重要的接口，一个是`openai.Completion.create`，另一个是`openai.ChatCompletion.create`。那么问题来了，这两个接口有什么区别呢？还有他们使用的参考代码是什么样呢？原创 2023-10-14 17:45:20 · 16593 阅读 · 1 评论