- 博客(9)
- 收藏
- 关注
RSS订阅原创 《OpenCompass 大模型评测实战》课程笔记及作业
评测大模型的方法，评测的模型包括基座模型、对话模型、公开权重的开源模型和API模型，对于不同种类的模型都有不同的评测方法。CompassKit大模型评测全栈工具链，支持数据污染检查、更丰富的模型推理接入、长文本能力评测和中英文双语主观评测。评测方法包括客观评测与主观评测，客观评测问题包括问答题和选择题等，主观评测则需要人类或者模型对内容进行打分。评测流水线，支持任意模型和大量数据集，并且支持任务切分及并行化，能够高效利用资源进行评测。模型评测中的提示词工程，合适的提示词能更大程度上反映模型的真实性能。
2024-05-08 23:16:08
108
1
原创 《Lagent & AgentLego 智能体应用搭建》课程笔记及作业
在和风天气平台上创建api key天气查询结果天气查询结果修改配置文件之后，在 Tool 界面选择 MagicMakerImageGeneration生成结果如下图，可以看到模型成功地调用了工具并得到了结果。
2024-05-04 23:03:55
305
原创 【LMDeploy 量化部署 LLM 实践】课程笔记及作业
LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。为了更加明显体会到W4A16的作用，将KV Cache比例再次调为0.01，查看显存占用情况。模型量化，基本思想是将表示方法中的浮点数转换为整数或其他离散形式，降低访存量，降低深度学习模型的存储和计算负担。下面，改变–cache-max-entry-count参数，设为0.5。模型部署指将训练好的深度学习模型在特定环境中运行的过程。大模型部署面临的挑战之一是计算量巨大。
2024-04-29 08:26:54
146
原创 《XTuner 微调 LLM：1.8B、多模态、Agent》课程笔记及作业
LLaVA过程，分为两个阶段：1、Pretrain阶段，训练数据为图像和描述图像的短文本组成的图像-文本对，将其输入到文本单模态LLM中进行训练，得到Pretrained LLaVA模型，类似增量预训练阶段 2、微调数据为图像和复杂对话文本组成的图像-文本对，对 Pretrained LLaVA进行微调，得到Finetuned LLaVA模型，相当于指令微调阶段。LLaVa方案，类似LoRA微调方案，在已有LLM的基础上，用新的数据训练一个新的组成部分，结合到原有LLM基础上。训练后的部分结果文件。
2024-04-24 22:58:19
812
原创 【茴香豆：搭建你的 RAG 智能助理】课程笔记 + 课程作业
基于第一阶段检索器的检索结果，检索系统通常设置一个或多个重新排序阶段，对初始结果进行细化，得出最终的搜索结果。InternLM2-Chat-7B并不知道茴香豆，因为其训练时并没有关于茴香豆的知识，但是茴香豆InternLM2-Chat-7B RAG助手在训练数据没有关于茴香豆的数据时，可以借助外部知识进行回答。对于其他细粒度的检索任务，例如问答，可以进一步集成另一个称为reader的组件，以分析检索器(或重新排序器)返回的文本并定位查询的答案[1]。1、首先安装所需依赖，在官方仓库中下载茴香豆。
2024-04-09 17:27:06
649
1
原创 第一节《书生·浦语大模型全链路开源体系》课程笔记
通用大模型成为人工智能发展趋势，被普遍认为是通往通用人工智能的关键途径书生浦语大模型发展历程，今年InternLM2正式开源，能够解决更复杂的问题面向不同使用需求，发布不同尺寸的模型InternLM2初心是回归大模型本质，通过新一代数据清洗过滤技术提高模型在世界知识、数理等方面的性能InternLM2的主要亮点，包括超长上下文、突出的数理能力等和其他开源模型进行对比，性能全方位提升，达到同量级其他开源模型的领先水平一个角色扮演的简单示例富有想象力的创作工具调用能力升级模型
2024-03-31 19:26:18
271
1
原创 《啊哈算法》中快速排序为什么要先由右边开始
啊哈算法中关于快速排序的插图之所以要由右边先开始，即先执行：//temp是基准数，temp=a[left];i=left;j=rightwhile(a[j]>=temp && i<j) j--;再执行：while(a[i]<=temp && i<j) i++;是因为基准数定为最左端的6，如果i先出发寻找大于6的数，会先经过1,2等小于6的数；这就会导致最后 i 和 j 相遇时 j 可能并没有找到小于基准数的数，再将i，j同时指向的值
2021-03-24 20:59:55
896
原创 如何使用git下载Github代码
首先装好gitgit官网链接一、创建一个保存代码的文件夹二、鼠标右击此文件夹，选择“Git Bash Here”，此时会弹出一个命令行窗口1、鼠标右击，选择Git Bash Here2、弹出命令行窗口三、在命令行窗口中输入“git init”，回车，此时刚创建文件夹中出现一个.git文件夹。1、输入git init2、回车3、出现.git文件夹PS:如果没有出现.git文件夹，在“查看”一栏中将“隐藏的项目”勾上四、先在GitHub中复制URL，然后在命令行窗口中输入“
2021-03-21 17:09:10
10173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人