![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLMs
文章平均质量分 93
J_Xiong0117
一枚终生学习的算法工程师
展开
-
AIGC:【LLM(八)】——Baichuan2技术报告
大型语言模型(LLMs)已经在各种自然语言任务上展示了惊人的性能,只需少量自然语言指令的示例,就能减少对大量特征工程的需求。然而,大多数强大的LLM都是闭源的,或者在其能力上受到英语以外的其他语言的限制。在本文技术报告中,我们介绍了百川2号(Baichuan 2),这是一系列大规模的多语言模型,包含70亿和130亿个参数,从0开始训练,共使用2.6万亿个标记。在公共基准测试如MMLU、CMMLU、GSM8K和人为评估中,百川2号与类似大小的其他开源模型相匹配或超过它们。此外,百川2号在医学和法律等垂直领域表原创 2023-09-13 17:36:38 · 1096 阅读 · 0 评论 -
AIGC:【LLM(七)】——Baichuan2:真开源可商用的中文大模型
Baichuan 2 是百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。其在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。原创 2023-09-11 16:08:41 · 1341 阅读 · 0 评论 -
AIGC:【LLM(六)】——Dify:一个易用的 LLMOps 平台
Dify 是一个易用的 LLMOps 平台,旨在让更多人可以创建可持续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排,应用可开箱即用,也能以后端即服务的 API 提供服务。原创 2023-08-18 18:13:45 · 4369 阅读 · 3 评论 -
AIGC:【LLM(一)】——LoRA微调加速技术
LoRA的实现原理在于,冻结预训练模型权重,并将可训练的秩分解矩阵注入到Transformer层的每个权重中,大大减少了下游任务的可训练参数数量。对大规模的PLM进行微调往往成本过高,在这方面,PEFT方法只对少数(额外的)模型参数进行微调,基本思想在于仅微调少量 (额外) 模型参数,同时冻结预训练 LLM 的大部分参数,从而大大降低了计算和存储成本,这也克服了灾难性遗忘的问题,这是在 LLM 的全参数微调期间观察到的一种现象PEFT 方法也显示出在低数据状态下比微调更好,可以更好地泛化到域外场景。原创 2023-05-04 16:10:37 · 6816 阅读 · 1 评论 -
AIGC:【LLM(五)】——Faiss:高效的大规模相似度检索库
Faiss的全称是Facebook AI Similarity Search,是Facebook的AI团队针对大规模相似度检索问题开发的一个工具,使用C++编写,有python接口,对10亿量级的索引可以做到毫秒级检索的性能。原创 2023-08-07 17:20:02 · 1609 阅读 · 1 评论 -
AIGC:【LLM(四)】——LangChain+ChatGLM:本地知识库问答方案
这种通过组合langchain+LLM的方式,特别适合一些垂直领域或大型集团企业搭建通过LLM的智能对话能力搭建企业内部的私有问答系统。原创 2023-08-07 15:41:55 · 3265 阅读 · 2 评论 -
AIGC:【LLM(三)】——JARVIS:连接ChatGPT和HuggingFace解决AI问题
解决具有不同领域和模态的复杂人工智能任务是通往人工通用智能的关键骤。尽管存在丰富的适用于不同领域和模态的人工智能模型,但它们无法处理复杂的人工智能任务。考虑到大型语言模型(LLMs)在语言理解、生成、交互和推理方面表现出色,我们主张LLMs可以作为一个控制器来管理现有的人工智能模型,以解决复杂的人工智能任务,并认为语言可以成为一种通用接口来增强这一过程。原创 2023-07-05 16:43:00 · 1457 阅读 · 1 评论 -
AIGC:【LLM(二)】——LangChain:由LLMs驱动的应用开发框架
LangChain:由LLMs驱动的应用开发框架原创 2023-05-08 15:15:47 · 4059 阅读 · 1 评论