- 博客(6)
- 收藏
- 关注
RSS订阅原创 书生浦语第五课
包括量化感知训练(量化目标无缝地集成到模型的训练过程中)、量化感知微调(确保微调的LLM仍能保持性能)和训练后量化(减少LLM的存储和计算复杂性，而无需对LLM架构进行修改或进行重新训练)(1) 模型剪枝：减少模型中贡献有限的冗余参数，保证性能下降最低的情况下减少存储需求，提高计算效率。(2) 知识蒸馏：直接训练参数量小的模型难度大，可以先通过训练参数量大的模型，再让大模型训练小模型就可以提高效率。4. LMDeploy：(1) 核心功能：模型高校推理、模型量化压缩、服务化部署。(1) 计算量巨大。
2024-06-27 16:01:43
116
原创 书生浦语第四课
微调范式：(1) 增量预训练微调：让底座模型(foundation)学习一些垂直领域的知识。(2) 指令跟随微调：让模型学会与人类对话。 一条数据的一生：(1) 原始数据：从书籍、网络等渠道获得的信息。(2) 标准格式数据：训练框架可以识别的数据格式。比如获取信息为世界最高峰为珠穆朗玛峰，那么在AI模型中应该转换为有system、user、assistant的格式，而在xtuner中为json文件格式。(3) 添加对话模板：为了区分user和assistant，需要在各自出现的时候添加对应的前缀，因此当数
2024-06-27 15:32:47
39
原创 书生浦语第三课
RAG应用场景：在大模型创建后发生了一些新闻，如果不进行RAG优化，那么大模型很可能会对这些数据库中没有的问题产生幻觉(胡说八道)。 RAG工作原理：(1) 索引：将知识源数据库中的信息转化为向量。(2) 检索：把用户输入的问题转化为向量并从库中寻找与该向量相关的向量。(3) 生成：生成最终回答 向量数据库：向量数据库是RAG的关键部分之一，将信息转化为固定长度的向量。而进行检索匹配的时候通常会使用余弦相似度比较的方法来找出相关向量。 RAG优化方法：(1) 嵌入优化和索引优化：就是通过提高向量数据库
2024-06-25 20:43:23
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人