![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AIGC
文章平均质量分 94
Hellespontus
我的征途是星辰大海
展开
-
【LLM】vLLM部署与int8量化
介绍了vLLM原理并讲解如何支持peft,对不同的decoding methods进行了说明,同时详述了int8量化的过程。原创 2024-01-09 15:32:12 · 10007 阅读 · 0 评论 -
【LLM】“幻觉”的缓解方法
讲解了什么是“幻觉”以及“幻觉”的缓解方法,介绍了RAG和RLHF两种优化输出技术,最后用TRL进行了一个生成正向影评的微调实战。原创 2023-12-17 14:56:20 · 724 阅读 · 0 评论 -
【LLM】Prompt Engineering
介绍了4种微调方式,并用LoRA对ChatGLM进行了微调实战。原创 2023-12-16 15:22:23 · 964 阅读 · 0 评论 -
【LLM】大语言模型的前世今生
一文梳理了几个主流LLM的发展及演化。原创 2023-12-14 14:57:32 · 804 阅读 · 1 评论 -
【AIGC】从零手写一个GPT
详解了GPT的原理,从注意力矩阵Q&K到多头自注意力机制、再到一个完整的Transformer,用一篇文章讲透,然后使用PyTorch和我们自己写的Transformer实现一个GPT用于生成文本。原创 2023-10-24 00:08:29 · 724 阅读 · 0 评论