LLM
文章平均质量分 96
大语言模型相关内容
蒋含竹
非淡泊无以明志,非宁静无以致远。
展开
-
FastChat-Vicuna开放,媲美ChatGPT的90%能力——从下载到安装、部署
最近ChatGPT非常火,引爆了整个商业市场以及NLP学术界,但是ChatGPT很多东西都不开放,你也没法个人部署、研究于是很多大语言模型横空出世,在开放的大语言模型中,最近我认为效果很不错的是FastChat上的Vicuna,基于LLaMA做了二次调参训练,据官方称能达到ChatGPT的90%的能力。(具体能否达到这个值,可以直接去他们的Demo上试试)相关链接GitHub地址:Demo地址:博客与相关说明:注意安装教程时间为2023年4月8日2023年4月21日。原创 2023-04-08 14:56:29 · 34646 阅读 · 117 评论 -
使用LoRA对大语言模型LLaMA做Fine-tune
目前有大量对LLM(大语言模型)做Fine-tune的方式,不过需要消耗的资源非常高,例如Stanford Alpaca: 对LLaMA-7B做Fine-tune,需要4颗A100 (80GB) GPUFastChat/Vicuna: 对LLaMA-7B做Fine-tune,需要4颗A100 (40GB) GPU这种资源需求令普通的学习者望而却步,使用LoRA则可以较好的解决这个问题LoRA全称为。原创 2023-05-29 17:55:13 · 7584 阅读 · 13 评论 -
Llama2中文大模型——牛刀小试
Meta开源的Llama从第一版开始,效果就很不错,有很多开源LLM都是基于它训练的,例如Vicunna、Alpaca在去年7月,Meta又开源的Llamma从第二版Llama2,分为Pretrian、Chat版本,包含7B、13B、70B模型类别模型名称下载地址备注PretrianLlama2-7Bhuggingface下载基础版PretrianLlama2-13Bhuggingface下载基础版PretrianLlama2-70Bhuggingface下载基础版Chat。原创 2024-01-24 18:02:34 · 1028 阅读 · 0 评论