![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI大模型
文章平均质量分 83
WX Chen
实用技术总结,前沿科技分享,欢迎交流技术和业务
展开
-
AI大模型简述
智谱清言ChatGLM,GLM全称”General Language Model“ 来源自清华的一篇论文——基于自回归空白填充目标的通用预训练框架,作为国产第一梯队的自研模型,这也是后续智谱AI发布的所有AI应用的底座。大模型是指拥有超过10亿个参数的深度神经网络,它们能够处理海量数据、完成各种复杂的任务,如自然语言处理、计算机视觉、语音识别等。华为盘古AI大模型包括了NLP大模型、CV大模型、科学计算大模型等多个AI大模型在内的合集,使其可以被应用到科学研究、教育、交通、工业等多个行业中。原创 2024-08-03 12:51:24 · 546 阅读 · 0 评论 -
大模型微调方法简述
PEFT(Parameter-Efficient Fine-Tuning)是hugging face开源的一个参数高效微调大模型的工具,里面集成了4种微调大模型的方法,可以通过微调少量参数就达到接近微调全量参数的效果,使得在GPU资源不足的情况下也可以微调大模型。而当训练好新的参数后,利用重参的方式,将新参数和老的模型参数合并,这样既能在新任务上到达fine-tune整个模型的效果,又不会在推断的时候增加推断的耗时。低秩矩阵是指在线性代数中,其秩(即矩阵中线性无关的行或列的最大数目)较低的矩阵。原创 2024-09-02 13:59:52 · 518 阅读 · 0 评论